Формализованное описание комплексной модели оценки задач управления качеством: На прим. квалиметрии высшей шк. тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Титов, Андрей Валентинович

• Титов, Андрей Валентинович
• кандидат технических наук
• 1998

Оглавление диссертации кандидат технических наук Титов, Андрей Валентинович

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

Глава I. АНАЛИЗ ТЕХНОЛОГИИ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ И ПОДГОТОВКИ СПЕЦИАЛИСТОВ

1.1. Анализ содержания и структуры квалиметрии высшей школы

1.2. Анализ понятий "качество "качество образования ", "норма качества", "мера качества"

1.3. Исследование процесса оценки качества образовательных систем

1.4. Анализ процессов разработки моделей технологии оценки качества в сфере образования

1.5. Анализ информационных технологий комплексной оценки качества подготовки специалистов и аттестации

вузов

1.6. Выводы

Глава II.РАЗРАБОТКА ФОРМАЛИЗОВАННЫХ МОДЕЛЕЙ И МЕТОДОВ ФОРМИРОВАНИЯ СИСТЕМ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ

2.1. Разработка формализованных моделей пространства качеств и пространства свойств

2.2. Разработка формализованных моделей и процедур формирования систем оценки качества

2.3. Разработка принципов формирования оценочной системы

2.4. Разработка структуры технологии проведения экспертного отбора критериев оценки образовательных систем и формирования оценок

2.5. Разработка принципов анализа оценочных систем

2.6. Выводы

Глава III.РАЗРАБОТКА МОДЕЛИ ТЕХНОЛОГИИ ИТОГОВОЙ ОЦЕНКИ

УРОВНЯ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ

3.1. Разработка структуры технологии оценки качества обазовательных систем

3.2. Анализ мультипликативных и аддитивных методов свертки критериев

3.3. Разработка стратегии агрегирования на основе нечетких множеств

3.4. Разработка алгоритма агрегирования с использованием

нечетких чисел

3.5. Выводы

ГЛАВА IV. ИНЖЕНЕРНАЯ РЕАЛИЗАЦИЯ МЕТОДОВ ФОРМИРОВАНИЯ ОЦЕНОЧНЫХ СИСТЕМ И ОЦЕНКИ УРОВНЯ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ СИСТЕМ

4.1. Предварительное ранжирование и формирование списка критериев (показателей) оценки

4.2. Определение типа шкалы для оценки образовательной системы по экспертным показателям

4.3. Определение весовых коэффициентов показателей оценки качества образовательных систем

4.4. Построение пороговых значений показателей-фильтров

4.5. Проведение оценок по экспертным показателям

4.6. Учет нечеткостей в оценках экспертов при квалиметрии высших учебных заведений с использованием системы экспертного оценивания АСЭО - 5

4.7. Классификация по уровням качества

4.8. Разработка архитектуры системы компьютерной поддержки оценки качества образовательных систем различных уровней

4.9. Выводы

5. ЗАКЛЮЧЕНИЕ

6. БИБЛИОГРАФИЯ

7. ПРИЛОЖЕНИЕ 1. Автоматизированная система комплексной

оценки выпускников и аккредитации вузов

8. ПРИЛОЖЕНИЕ 2. Категорный подход к описанию задачи ква-

лиметрии

9. ПРИЛОЖЕНИЕ 3. Пример "взвешивания" показателей оценки

образовательных систем

10. ПРИЛОЖЕНИЕ 4. Пример нарушения изиморфизма относительно отношения порядка при оценке образовательных систем по методу Руссмана и с помощью средневзвешенной оценки

Введение диссертации (часть автореферата) на тему «Формализованное описание комплексной модели оценки задач управления качеством: На прим. квалиметрии высшей шк.»

ВВЕДЕНИЕ.

Актуальность темы исследования обусловлена актуальностью проблемы управления качеством подготовки специалистов и управления качеством педагогических систем в условиях высокой динамики конъюнктуры спроса на рынке образовательных услуг. На сегодняшний день не существует системы управления и оценки качества образования, удовлетворяющей мировое сообщество [72]. Процесс управления сложными объектами, к которым относятся и образовательные системы всех уровней,делится на ряд стадий [109]:

1) прогнозирование будущего;

2) определение целей;

3) формирование промежуточных задач;

4) определение программ действий;

5) выполнение планов и программ;

6) оценка результатов;

7) обеспечение обратной связи для корректировки процесса.

Важными звеньями цепи управления сложными объектами выступают стадии оценки результатов управления и обеспечения обратной связи.Таким образом, в управлении качеством образовательных систем одно из центральных мест занимает проблема оценки качества образовательных систем,от корректного решения которой зависит надежность функционирования всей системы управления качеством подготовки специалистов.

В настоящее время проблема эффективного управления качеством подготовки специалистов встает все более остро, что связано, с одной стороны, с изменением структуры потребностей общества в специалистах (например, потребность в инженерно -технических кадрах уже не носит ярко выраженного доминирующего характера,напротив, значительно выросла потребность общества в специалистах в области юриспруденции и финансов),с другой - с изменениями требований к специалистам по многим направлениям подготовки, особенно в области экономики, юриспруденции. Кроме того, новая экономическая ситуация вызвала потребность в специалистах по новым для отечественной системы образования специальностям (маркетолог, менеджер и т.д.). Динамичность ситуации предъявляет высокие требования

к системе управления качеством образовательных систем, надежное функцианирование которой должно обеспечиваться налаженной системой мониторинга и контроля за качеством подготовки специалистов различных направлений и уровней подготовки,что, в свою очередь, связано с необходимостью совершенствования методологии оценки качества образовательных систем (направлений подготовки, вуза в целом, специальности и т.д.), как степени их соответствия предъявляемым требованиям в реальном масштабе времени, наличием единой формальной базы (языка) разработки методик и методов оценки образовательных систем различного уровня и направлений подготовки специалистов.

Актуальность проблемы оценки качества подготовки специалистов и образовательных систем - важной составной части задачи управления качеством подготовки специалистов и качеством образовательных систем,- возрастает также в связи с ростом числа негосударственных учебных заведений, возросшей динамикой спроса на специалистов различных профилей, динамичностью структуры этого спроса - все это ведет к подвижности системы требований, которые предъявляются к специалистам.

При этом, следуя данному в работе [70] определению, управление качеством высшего образования понимается как управление качеством подготовки специалистов в высших учебных заведениях, включая: формирование оптимальной структуры целей высшего образования, в том числе, в области фундаментальной подготовки специалистов; обеспечение эквивалентности дипломов о высшем образовании в России и за рубежом; создание систем самоанализа эффективности управления качеством высшего образования в вузах и, сопряженного с ними, общественно-государственного института аттестации,аккредитации и лицензирования.

Степень эффективности системы управления качеством образовательных систем, не в последнюю очередь, связана с уровнем автоматизации процессов управления и оценки качества образовательных систем и, следовательно, с созданием эффективных средств математического моделирования образовательных систем как объектов управления.

Вместе с тем, технологии оценки, используемые в настоящее время в квалиметрии высшей школы, часто основаны на формальном аппарате, который не учитывает особенностей измерения качества

педагогических систем и предназначен для условий, достаточно далеких от тех, в которых решаются задачи квалиметрии высшей школы, что существенно снижает их эффективность.Например, широкое применение в квалиметрии высшей школы вероятностно-статистических методов не всегда корректно в условиях высокой динамики требований к объектам оценивания и отсутствия аналогов.Методы теории вероятностей и математической статистики распространяются лишь на стохастически устойчивые последовательности событий [17].

Следовательно, актуальность темы исследования обусловлена необходимостью повышения эффективности системы управления качеством подготовки специалистов за счет совершенствования формальных методов (языка) описания моделей различных стадий технологии оценки качества образовательных систем и,на этой основе, автоматизации проектирования оценочных систем и оценочной деятельности в сфере образования.

Совершенствование методов формального моделирования систем оценки качества подготовки специалистов должно осуществляться на основе принципов системности, формальных и экспертных процедур обработки информации;разработанных А.И.Субетто принципов синтетической квалиметрии; принципов общей, специальной и предметной квалиметрий [77-81].

Существующее положение дел не всегда удовлетворяет принципу соответствия уровней формализации оценки и модели объекта оценки [78], - часто строгость методов обработки оценок превышает строгость уровня описания объекта оценки, что снижает эффективность оценочной деятельности как инструмента управления качеством образования, приводит к недостаточно продуктивным процедурам синтеза технологий оценочной деятельности как сложных, многоуровневых процедур, объединяющих в единую систему все виды оценочной деятельности в сфере образования.

Применение методов теории нечетких множеств в квалиметрии высшей школы не носит в настоящее время систематического характера. При этом методы теории экспертных оценок и теории нечетких множеств в наибольшей степени удовлетворяют принципу соответствия уровней формализации оценки и объекта [78], их использование способно повысить степень корректности результатов оценки качества образовательных систем и ускорить темпы разработки и внедрения автоматизированных систем экспертной оценки качества образова-

тельных систем для различных видов объектов оценки, повысить достоверность результатов оценки.

По этой причине особое значение приобретают подходы к разработке комплексной модели оценочной деятельности в сфере образования на основе современных методов экспертной и нечеткой квалимет-рий, опирающихся на формальный аппарат теории сложности,теории нечетких множеств и экспертных оценок [91-101].

В диссертационном исследовании предложен новый подход к формальному описанию замкнутой технологии оценочной деятельности, основанный на использовании математических структур, моделируемых в теории нечетких множеств для описания сложных систем [26-30;32;52;88]; логических принципов, выходящих за рамки классической бинарной логики [31;48;68;112 ], которые позволяют создавать модели оценочной деятельности в условиях неопределенности и нечеткости.Внедрение этого формального аппарата должно способствовать разработке систем экспертного оценивания, обладающих достаточной эффективностью в реальных условиях оценки качества образовательных систем.

Особое внимание при разработке формального описания элементов базовой модели оценки уделяется формализованному описанию "пространства свойств" и "пространства баз сравнения" [77], которые составляют основу оценочных систем;разработке процедур их отображения в системы критериев качества образовательных систем ("пространство показателей качества" [77]); разработке процедур структурного обобщения и синтеза оценочной деятельности как сложного, многоуровневого процесса; формированию пространств "операторов оценивания" на различных уровнях процесса оценки.

Целью исследования является разработка формализованного описания элементов базовой модели оценки и процедур, составляющих основные этапы технологии оценки качества образовательных систем, в интересах унификации процесса создания информационных технологий оценки качества образовательных систем различного уровня и направлений подготовки.Реализация цели исследования опирается на раскрытые в работах А.И.Субетто [77-83] основные составляющие и системные принципы формирования и развития качества; концептуально - программный подход к проблеме качества высшего образования, изложенный в монографии [55], выпущенной Исследовательским цент-

ром проблем качества подготовки специалистов Министерства образования РФ под научной редакцией А.Н.Селезневой и А.И.Субетто; подходы к экспертному формированию оценочных систем, разрабатываемые под руководством Б.Г.Литвака;принципы обработки и анализа экспертной информации, изложенные в работах Б. Г.Литвака [40-43].

В соответствии с целью исследования в диссертационной работе решаются следующие задачи:

- анализ содержания и структуры оценочной деятельности в сфере образования как предметной квалиметрии, выявление особенностей оценочной деятельности в сфере образования;

- разработка рекомендаций по выбору аппарата формализованного описания основных этапов технологии оценки качества образовательных систем;

- разработка модели пространства качества и описание ее основных структурных свойств;

- разработка процедур формирования весовых коэффициентов показателей качества с учетом факторов нечеткости и неопределенности;

- разработка процедур формирования пороговых значений показателей качества с учетом факторов нечеткости и неопределенности;

- разработка методик учета факторов нечеткости и неопределенности в алгоритмах агрегирования значений показателей качества образовательных систем;

- проведение анализа особенностей методов агрегирования значений показателей качества образовательных систем;

- реализация методики учета факторов нечеткости в алгоритмах агрегирования при оценке качества образовательных систем.

Объектом исследования является квалиметрия высшей школы, предметом исследования - возможность совершенствования оценочной деятельности на основе разработки формальной модели замкнутой технологии оценочной деятельности в сфере образования, описание которой осуществлено с привлечением аппарата теории нечетких множеств, теории экспертных оценок и теории категорий.

Методы исследования.Методами исследования являются методы экспертной и нечеткой квалиметрий, системного анализа, теории измерений; методы обработки экспертной информации, теории нечетких

множеств, нечеткой логики, теории категорий.

Научная новизна и теоретическая значимость.На основе раскрытых и систематизированных А.И.Субетто [78] системных принципов формирования понятия "качество", разработана формализованная модель класса качеств в виде алгебры, базисом которой служит множество свойств (формальное определение). Описана модель "пространства свойств " как топологического пространства с определенными свойствами.Разработана система требований к структуре оценочной системы, отражающая особенности математической модели пространства качества.Впервые разработана процедура формирования пороговых значений показателей качества, учитывающая наличие факторов нечеткости и неопределенности, в виде нечетких чисел (Ь-Ю-типа. Разработан новый подход к определению весовых коэффициентов показателей качества с учетом факторов нечеткости и неопределенности. Разработана , методика учета факторов нечеткости и неопределенности в алгоритмах агрегирования значений показателей качества образовательных систем.Впервые проведен теоретический анализ особенностей методов агрегирования показателей качества образовательных систем.Реализована методика учета факторов нечеткости в алгоритмах агрегирования при оценке качества образовательных систем.

Практическая ценность и реализация результатов работы.Практическая ценность работы заключается в разработанных автором методиках и алгоритмах формирования систем оценки качества образовательных систем;построения оценок по показателям качества и решающих правил, которые составляют замкнутое описание технологии оценки качества образовательных систем разного уровня и позволяют повысить эффективность разработки информационных технологий оценки качества образовательных систем.

Приведенные в исследовании методы формирования оценочных систем и оценок по экспертным показателям качества образовательных систем использовались при составлении методик и алгоритмов мониторинга качества на базе УМО по образованию в области текстильной промышленности, а также при разработке программы самообследования в Государственной академии инноваций.

Апробация результатов исследования осуществлялась путем выступлений автора на конференциях и семинарах, а также через публикации. Основные положения работы обсуждались на Международной школе молодых ученых."Новые информационные технологии".- Гурзуф,1992 г.; Международной конференции и школе молодых ученых и специалистов "САПР-93".- Гурзуф, 1993 г.; на четвертом - седьмом симпозиумах "Квалиметрия человека и образования: методология и практика".- Москва, 1995-1998 г.;Всероссийской конференции - совещании "Проблемы качества высшего профессионального образования".- Уфа, 1996 г;Школе-семинаре "Создание единого информационного пространства системы образования" - Москва 1998 г.

Результаты исследования обсуждались на методологических семинарах в Исследовательском центре проблем качества подготовки специалистов в период с 1994 по 1998 г.

На защиту выносятся следующие результаты исследования.

1.Формализованная модель класса качеств как алгебры, базисом которой служит множество свойств (формальное определение).

2.Методика формирования пороговых значений показателей -фильтров с учетом факторов нечеткости и неопределенности.

3.Методика формирования весовых коэффициентов показателей качества с учетом факторов нечеткости и неопределенности.

4.Методика учета факторов нечеткости и неопределенности в алгоритмах агрегирования значений показателей качества образовательных систем.

5.Алгоритм формирования пороговых значений показателей-фильтров в виде нечетких чисел (Ь-Ю-типа.

6.Алгоритм формирования оценок по показателям качества образовательных систем в виде нечетких чисел (Ь-Ю-типа.

Публикации.Основные положения диссертационной работы изложены в 15 работах, которые приведены в библиографии.

Структура работы.Диссертация состоит из введения,четырех глав,заключения, списка литературы (134 источника) и приложений. Материал изложен на 184 страницах, содержит 6 таблиц,13 рисунков.

Заключение диссертации по теме «Управление в социальных и экономических системах», Титов, Андрей Валентинович

4.9.Выводы.

4.1. Разработаны анкеты для опроса экспертов при проведении ранжирования показателей качества образовательной системы из предваритеьного списка критериев качества. Разработаны процедуры формирования рангов показателей качества образовательной системы.

4.2. На основе анализа литературных источников предложена процедура определения силы шкалы показателей оценки качества образовательной системы.Предложена методика определения наличия естественного нуля при проверке возможности проведения оценок в шкале отношений.

4.3.Разработана методика определения весовых коэффициентов показателей качества образовательных систем, включающая процедуры выделения эталонного множества показателей качества, определение их весов методом уровневых множеств и определение весов всех показателей качества с помощью эталонного метода построения отношений нечеткого предпочтения.

4.4. Разработаны методики и алгоритмы формирования порогов показателей-фильтров и оценок экспертных показателей в виде нечетких чисел (Ь-Ю-типа и процедуры использования оценок в виде нечетких чисел (Ь-Ю-типа в условиях эксплуатации автоматизированной системы экспертного оценивания АСЭО-5.

4.5. На основе анализа литературных источников, опыта разработки автоматизированной системы экспертного оценивания АСЭО-5 творческим коллективом Центра АСЭО - НЭС - ЦЭМИ, опыта ее эксплуатации в Исследовательском центре, предложена структура экспертной системы оценки качества образовательных систем.

ЗАКЛЮЧЕНИЕ.

1.В интересах повышения эффективности управления качеством образовательных систем разработано формализованное описание элементов базовой модели оценки качества образовательных систем,что способствует формированию единого подхода к синтезу процедур формирования оценочных систем, проведения оценок по показателям качества образовательных систем и выработки результирующей оценки уровня качества образовательных систем.

Предложен новый подход к формализованному описанию замкнутой технологии оценочной деятельности, основанный на использовании математических структур, моделируемых в теории нечетких множеств для описания сложных систем; логических принципов, выходящих за рамки классической бинарной логики, которые позволяют создавать модели оценочной деятельности в условиях неопределенности и нечеткости. Развитие на этой основе формального аппарата квалиметрии позволяет разработывать системы экспертного оценивания, обладающие достаточной эффективностью в условиях субъективности оценок и отсутствия аналогов.

2.На основе определений категории качества и исследования основных системных принципов формирования качества [76;82] разработана формальная модель класса качеств, как наименьшего множества выражений метаязыка классификации такого,что а) любое свойство и является элементом этого множества; б) для любых и^, и2 из и, 0(11^1X2) и 0(11! ,и2) так же являются элементами этого множества.

Выделена коньюктивная модель класса качеств, которая взята за основу при построении оценочных систем в задаче квалиметрии образовательных систем.

3.На основе раскрытия основных системных принципов формирования категории "качество" выделены основные характеристики "пространства свойств" как топологического пространства, определяющие требования к построению системы показателей оценки уровня качества образовательных систем. Определено, что "пространство свойств", как топологическое пространство, есть связное пространство с топологией порядка на нем.Порядок на "пространстве свойств" индуцируется импликацией на множестве качеств.

4.На примерах построения функций принадлежности методами прямого и обратного оценивания методом уровневых множеств, исследована связь методов построения функций принадлежности с силой шкалы. Разработаны процедуры формирования порогов показателей-фильтров и оценок методом уровневых множеств.

5.Разработана методика использования эталонного подхода к определению нечетких отношений предпочтения для определения весовых коэффициентов показателей качества образовательных систем. Разработана методика выделения эталонного множества показателей оценки качества образовательных систем и определения их весовых коэффициентов на основе метода уровневых множеств.Разработана методика применения эталонного подхода для определения весов всей совокупности показателей качества образовательной системы по весам показателей качества, вошедших в эталонное множество.

6.Проведен анализ аддитивных и мультипликативных методов свертки оценок по показателям качества образовательных систем.Доказано, что преобразование, переводящее множество оценок образовательной системы, полученных аддитивной сверткой в множество оценок образовательной системы, полученных с помощью мультипликативной свертки, нарушает порядок на множестве оценок образовательной системы ( т.е. доказана неизоморфность множеств оценок, полученных мультипликативными и аддитивным методами свертки относительно отношения порядка).Выработаны рекомендации по сужению областей "рассогласования" аддитивных и мультипликативных методов свертки показателей качества образовательных систем.

7.Показана совместимость методики агрегирования на основе смешанной стратегии с мультипликативными и аддитивными методами свертки оценок по показателям качества образовательных систем при определенных в исследовании требованиях к виду мультипликативных и аддитивных методов агрегирования оценок показателей качества образовательных систем.

8. Исследована возможность использования оценок образовательных систем по показателям качества в виде нечетких чисел в задачах оценки уровня качества образовательных систем. Показано, что различные способы представления экспертных оценок образовательных систем по показателям качества, используемые в практике оценки уровня качества образовательных систем (точечные, интервальные и т.д.), сводятся к оценкам в виде нечетких чисел (Ь-Ю-типа.Получено описание средневзвешенной свертки показателей качества образовательных систем и свертки по методу Руссмана для случая свертки оценок по показателям оценки качества образовательных систем, сформированных в виде нечетких чисел.

9. Разработаны анкеты для опроса экспертов при проведении ранжирования показателей качества образовательной системы из предваритеьного списка критериев качества. Разработаны процедуры формирования рангов показателей качества образовательной системы.

10. Разработана методика определения весовых коэффициентов показателей качества образовательной системы, включающая процедуры выделения эталонного множества показателей качества, определение их весов методом уровневых множеств и определение весов всех показателей качества с помощью эталонного метода построения отношений нечеткого предпочтения.

И. Разработаны методики и алгоритмы формирования порогов показателей-фильтров и оценок экспертных показателей в виде нечетких чисел (Ь-Ю-типа и процедуры использования оценок в виде нечетких чисел (Ь-И)-типа в условиях эксплуатации автоматизированной системы экспертного оценивания АСЭО-5.

Список литературы диссертационного исследования кандидат технических наук Титов, Андрей Валентинович, 1998 год

БИБЛИОГРАФИЯ:

1.В.С.Аванесов. Основы научной организации педагогического контроля в высшей школе.- М.: Гособразование СССР, 1989. -187 с.

2.Г.Г.Азгальдов,А.В.Гличев и др. Квалиметрия - научная область об оценке качества продукции.//Измерение качества продукции. -М. : Изд-во стандартов , 1971. - С.11-36.

3.Г.Г.Азгальдов,Э.П.Райхман. О квалиметрии. - М.: Изд-во стандартов, 1973. -172 с.

4.Г.Г.Азгальдов. Теория и практика оценки качества товаров.-М.: Экономика, 1982, -256 с.

5.Г.Г.Азгальдов,Э.П.Райхман. Квалиметрия: методы, проблемы,сфера применения//Методы количественной оценки качества продукции (квалиметрия).- М.: 1972,- С.14-23.

6.Г.Г.Азгальдов,А.В.Гличев и др. Квалиметрия - научная область об оценке качества продукции.//Измерение качества продукции -М.: Изд-во стандартов, 1971. - С.11-26.

7. Р.Беллман, Л.Заде.Принятие решений в расплывчатых услови-ях//Вопросы анализа и процедуры принятия решений. - М.: Мир, 1976,- С. 172- 215.

8.В.П.Беспалько.Основы теории педагогических систем.- Воронеж. : Изд-во Воронежского университета, 1977. - 304 с.

9.К.К.Боулдинг. Общая теория систем - скелет науки // Исследования по общей теории систем. - М.: Прогресс, 1969.-С.106-142.

10.В.М.Глушков. Теория автоматов и проектирование структурных вычислительных машин/ Кибернетика, - 1965, - N5,- С. 1-9.

И.Ю.Б.Гермейер.Введение в теорию исследования операций.-М.:Наука, 1971. -383 с.

12.А.В.Гличев. Управление качеством продукции и задачи квалиметрии. //Стандарты и качество,- 1971. - N6. - С.56 - 57.

13. А. В. Гличев, В.П.Панов, Г. Г. Азгальдов. Что такое качество? -М.: Экономика 1968.

14.А.В.Гличев, Г.Г.Азгальдов,Я.Б.Шор и др. Квалиметрия (Ее содержание, задачи, методы).//Стандарты и качество, -1970.-N1. - С. 30 - 34.

15.А.В.Гличев, М.И.Круглов и др. Управление качеством продукции. -М.: Экономика, 1979. - 176 с.

16.А.В.Гличев, Г.О.Рабинович и др. Прикладные вопросы квалиметрии. -М.: Изд-во стандартов, 1983. - 136 с.

17.Б.В..Гнеденко. Курс теории вероятности. - М.: Наука, 1988. -448 с.

18.М.Б.Гожальчины, Е.Б.Кишки, Н.С.Стахович. Некоторые прблемы изучения адекватностей нечетких моделей//Нечеткие множества: Теория возможностей. Под ред. Ягера. - М.: Мир, 1988.-С.21-37.

19. И. Э. Гудмен.Нечеткие множества как классы эквивалентности случайных множеств// Нечеткие множества:Теория возможностей. Под ред. Ягера. - М.: Мир, 1988,- С.241-264.

20.А.Л.Гофман. О приближении функций принадлежности по экспериментальным данным // Обработка информации и принятие решений в условиях неопределенности,- Фрунзе.: Илим,1981. С.33 - 36.

21.И.С. Дубровская,Ю.И.Койфман, Е. Т. Удовиченко. Системное моделирование динамической меры качества объектов. //Системные исследования проблем управления качеством и автоматизации процессов управления.-М.: Изд-во стандартов, 1980,- С. 201 -214.

22.Д.Дюбуа,А.Прад. Общий подход к определению индексов сравнения в теории нечетких множеств//Нечеткие множества:Теория возможностей. Под ред. Ягера. - М: Мир, 1988. С.9-21.

23.В.А.Дкж. Копьютерная психодиагностика. - С-Петербург.:Братство, 1994.- 364 с.

24.Л.Г.Евланов,В.А.Кузнецов. Экспертные оценки в управлении. -М. : Экономика, 1978. - 134 с.

25.Л.Г.Евланов. Теория и практика принятия решений. - М.:Экономика, 1984. -166 с.

V) 26. И. В. Ежкова, Д.А.Поспелов. Принятие решений при нечетких основаниях. I Универсальная шкала,- М: ИЗВ. АН СССР. сер.Техническая кибернетика, - 1978,- N2,- С. 3-11.

27.Б.А.Журид,В.Б.Силов.Метод построения логико-лингвистических моделей интеллектуальных роботов. - Изв. АН СССР: Техническая кибернетика,- 1983,- N 5,- С.188 - 193.

28.Л. Заде.Основы нового подхода к анализу сложных систем и процессов принятия решений // Математика сегодня. - М.: Зна-

ние, 1974. - С.5 - 49.

29.Л. Заде. Понятие лингвистической переменной и его применение к принятию приближенных решений. - М.: Мир, 1976. - 165 с.

30.П.М.Иванов. Алгебраическое моделирование сложных систем.-М. : Наука, 1996. - 271 с.

31.А.А.Ивин.Основания логики оценок,- М.: Изд-во МГУ, 1970.-238 с.

32.В.М.Иткин,А.В.Титов.Применение математических структур в проектировании //Новые инженерные технологии. Тезисы докладов Международной школы молодых ученых.- Воронеж.:Воронежский политехнический институт, 1992,- С.204-205.

33. Дж.Келли.Общая топология.-М.: Наука, 1981. - 432 с.

34.Б.Г.Литвак,Б.К.Коломиец, А.В.Титов, И.Л.Киселев. Автоматизированная информационная комплексной оценки выпускников вузов. //Создание единого информационного пространства системы образования.Тезисы докладов.-М.:Иследовательский центр проблем качества подготовки специалистов (ИЦ), 1998.- С.48-50.

35.А.Н.Колмогоров, А.Г.Драгалин. Введение в математическую логику. - М. : МГУ, 1982. - 120 с.

36.К.Кофман. Введение в теорию нечетких множеств,- М.: Радио и связь, 1982. - 429 с.

37.Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения.- М.:Радио и связь, 1981,- 560 с.

38. В.Б.Кузьмин. Эталонный подход к получению нечетких отношений предпочтения//Нечеткие множества:Теория возможностей. Под ред. Ягера. - М. : Мир, 1988,- С. 87-100.

39.Н.М.Кук,Дж.Макдональд. Формальная методология приобретения и представления экспертных знаний//ТИИЭР,- 1986.- N 10. - С. 145-155.

40.Б.Г.Литвак, Ю.Н.Тюрин. Экспертные оценки // Вопросы кибернетики,- 1979,- вып. 56. -199 с.

41.Б.Г.Литвак. Экспертные системы,- М.: Радио и связь, 1982.-

184 с.

42.Б.Г.Литвак. Автоматизированные системы экспертного оценивания и аккредитация. - М.: Исследовательский центр проблем качества подготовки специалистов (ИЦ). 1993. - 142 с.

43.Б.Г.Литвак. Экспертные оценки и принятие решений. - М.: Патент, 1996. - 271 с.

44-Р.Линдон. Заметки по логике, - М.: Наука, 1968,- 140с.

45. А. Ф. Лосев. Античный космос и современная наука // Бытие. Имя. Космос. - М. : Мысль, 1993.- 940 с.

46. А. Ф. Лосев. Диалектические основы математики.// Хаос и структура,- М.: Мысль, 1997,- 832 с.

47. Ю. В. Любатов. О средних взвешаных оценках качества. //Стандарты и качество.-1972.- N7,- С.48-50.

48. А.Н.Мелихов, Л.С.Бернштейн, С.Я.Коровин. Ситуационные советующие системы с нечеткой логикой.- М.: Наука,1990,- 272 с.

49.В.Н.Мельников, Л.Т.Ямпольский. Введение в экспериментальную психологию личности,- М.: Просвещение, 1985.- 319 с.

50. Методы системного педагогического исследования//Под ред. чл. -кор. АН СССР И.В.Кузьминой - Л.: ЛГУ, 1980.- 172 с.

51. В. Н. Мешалкин. Локальные методы классификации//Статистические методы классификации. - М.: МГУ, 1969. - С.58-78.

52. Б. Г. Миркин. Анализ количественных признаков и структур. М.: Статистика, 1980. - 319 с.

53.Модели принятия решений на основе лингвистической переменной.- Рига.: Зинатне, 1982. -256 с.

54. К. К. Моисеева.Выбор технических решений при создании новых изделий, - М.: Машиностроение, 1980. -128 с.

55. Новое качество высшего образования в современной России.Концептуально-программный подход.// Под научной ред. Н.А.Селезневой и А.И.Субетто/.-М.: ИЦ, 1995,- 200 с.

56. Нечеткие множества в моделях управления и исследования интеллекта,- М.: Наука, 1986.- 312 с.

57. А. М. Норвич., И.Б.Турксен.Фундаментальное измерение нечеткости.// Нечеткие множества и теория возможностей,- М:." Радио и связь", 1988,- С. 51 - 63 .

58.А.М.Норвич:,И.Б.Турксен.Построение функций принадлежности// Нечеткие множества и теория возможностей.- М:." Радио и связь", 1988,- С. 64 - 71.

59. С. В. Овчинников, Т.Рьера.О нечетких классификациях//Нечеткие множества: Теория возможностей. Под ред. Ягера. - М: Мир. 1988,- С.100-114.

60. А. И. Орлов. Проблемы устойчивости и обоснования решений в теории экспертных оценок. // Стратегические методы анализа экспертных оценок. - М.: Наука, 1977. - С.7 -30.

61.А.И.Орлов. Общий взгляд на статистику объектов нечисловой природы/УАнализ нечисловой информации в социологических исследованиях. - М. : Наука,1985. - С. 58-92.

62.С.А.Орловский. Проблема принятия решений при нечеткой исходной информации,- М.:Наука, 1981. -206 с.

63.Перечень компьютерных технологий реализующих различные версии решения задачи подготовки специалистов в высшей школе. -М: ИЦ, 1994. -10 с.

64.В.В.Подиновский. Аксиоматическое решение проблемы оценки важности критериев в многокритериальных задачах принятия решений. //Современное состояние теории исследования операций. -М.: Наука, 1979,- С. 117 - 149.

65.В.В.Подиновский. Об относительной важности критериев в многокритериальных задачах принятия решений. //Многокритериальные задачи принятия решений.- М.: Машиностроение, 1978.

С. 48 - 82.

66. Проблема оценки качества подготовки специалистов на базе компьютерных технологий./Под общей редакцией Н. А. Селезневой, А. И. Субетто/. - М.: ИЦ, 1993. - 204 с.

67.Э.П.Райхман.Г.Г.Азгальдов. Экспертные методы в оценке качества товаров. -М.: Экономика, 1974. - 151 с.

68.Е.Расева,Р.Сикорский. Математика метаматематики. -М.: Наука, 1972,- 592 с.

69.Б.Руа.Классификация и выбор при наличии нескольких критериев (метод ЭЛЕКТРА)//Вопросы анализа и процедуры принятия решений. -М. : Мир, 1976.

70.Э.Т.Руспини.Последние достижения в нечетком кластер-анали-зе//Нечеткие множества:Теория возможностей. Под ред. Ягера. - М: Мир. 1988. - С.114-133.

71. Н.А.Селезнева. Автоматизация проектирования систем управления качеством высшего образования.Диссертация на соискание ученой степени доктора технических наук.- Воронеж.: ВПИ, 1992.-36 с.

72. А.Селезнева, В.И.Байденко.Проблема качества образования:Актуальные аспекты и пути решения//Проблемы качества, его нормирования и стандартов образования - М.: ИЦ,1998.- С.7 -20.

73.Н.А.Селезнева, В.М.Соколов и др., Квалификационные характе-

ристики специалистов с высшим образованием//Методические рекомендации по разработке. - М.: Гособразование СССРД989. - 32 с.

74.Современное состояние теории исследования операций. Под ред. Н.Н.Моисеева. -М.: Наука. 1979. - 464 с.

75.В.В.Солодовников,В.И.Тумаркин. Теория сложности и проектирование систем управления. - М: Наука, 1990. - 168 с.

76.Справочная книга по математической логике.Теория моделей.- М.: Наука, 1981. - 382 с.

77.А.И.Субетто. Введение в квалиметрию высшей школы.Кн.1 -М: ИЦ, 1991. - 96 с.

78.А.И.Субетто. Введение ИЦ, 1991. -122 с.

79.А.И.Субетто. Введение ИЦ, 1991. -171 с.

80.А.И.Субетто. Введение ИЦ, 1991. -163 с.

81.А.И.Субетто.Системологические основы тем.Часть 1.-М.: ИЦ, 1994. -284 с.

82.А.И.Субетто. Системологические основы тем.Часть 2. - М. :ИЦ, 1994. - 312 с.

83.А.И.Субетто. Квалиметрия человека и образования. Методология и практика. - М.: ИЦ, 1993. -242 с.

84.А.И.Субетто. Метаклассификация как наука о механизмах и закономерностях классифицирования . - С-Петербург - Москва.: ИЦ, 1994,- 254 с.

85.А.И.Субетто,В.В.Чекмарев. Мониторинг источников формирования содержания высшего образования. - Москва - Кострома.:Изд-во КГПУ, 1994. -242 с.

86 А.И.Субетто,А.В.Титов.Категорный подход к описанию задач квалиетрии//Труды седьмого симпозиума "Квалиметрия человека и образования: методология и практика".-М.: ИЦ,1998.

87.П.Суппес, Дж.Зинес. Основы теории измерения // Психологические измерения. - М.: Мир, 1967,- С.9-110.

88.И.М.Сыроежин. Совершенствование системы показателей эффективности и качества. - М.: Экономика ,1980. - 192 с.

89.Танака. Итоги рассмотрения факторов неопределенности и неясности в инженерном искусстве//Нечеткие множества:Теория воз-

в квалиметрию высшей школы.Кн.2 -М: в квалиметрию высшей школы.Кн.3 -М: в квалиметрию высшей школы.Кн.4 -М:

образовательных сис-образовательных сис-

можностей. Под ред. Ягера. - М. : Мир, 1988.- С. 37-49.

90.А.В.Титов.Нестандартный анализ и математическое образование инженеров //Материалы международной конф. "Инженерное образование на рубеже XXI века." - Алушта. :МАИ, 1991,- С.54.

91. А.В.Титов,В.М.Иткин. Декомпозиция пр-ва объектов проектирования на основе функционала "сложность" //Тезисы докл.Между-народн.конф. и шк. молодых ученых и специалистов"САПР-93".-Гурзуф.: МАП,1993.- С.56-57.

92.А.В.Титов."Об упорядочении сложных систем по значениям первичных показателей"// Труды четвертого симпозиума "Квалимет-рия человека и образования: методология и практика", кн. 2-М. :ИЦ, 1995. - С . 165-167.

93.А.В.Титов. Особенности использования различных методик агрегирования в задачах аккредитации.//Труды четвертого симпозиума "Квалиметрия человека и образования: методология и практика". кн. 4 - М. :ИЦ, 1995.- С. 110-111.

94.А.В.Титов."Учет неопределенности в экспертных оценках границ нормативных зон".// Труды пятого симпозиума "Квалиметрия человека и образования: методология и практика".кн.2- М. :ИЦ, 1996,- С. 59-60.

95.А.В.Титов.Программа математической подготовки как элемент оценочной системы комплексной системы оценки вымускников инженерных специальностей.// Труды пятого симпозиума "Квалиметрия человека и образования: методология и практика".кн.2-М. :ИЦ, 1996,- С. 58-59.

96.А.В.Титов.Использование нечетких чисел при оценке качества образовательных систем.//Проблемы качества образования. -Уфа-Москва.:Уфимский государственный авиационный технический университет. 1998. С. 69-71.

97.А.В.Титов. Программа разработки принципов логико - семантического моделирования технологий оценочной деятельности с учетом многоуровневости образовательных систем.//Проблемы методологии , теории и практики проектирования , согласования и развития государственных образовательных стандартов в системе непрерывного образования.- М.: ИЦ, 1997,-0.115-118.

98.А.В.Титов. К проблеме согласованности стандартов разных уровней подготовки. //Проблемы методологии , теории и практики проектирования, согласования и развития государственных

образовательных стандартов в системе непрерывного образования. - М.: ИЦ, 1997.- С.118-120.

99.А.В.Титов.Использование нечетких чисел при оценке качества образовательных систем.//Проблемы качества, его нормирования и стандартов образования,- М.:ИЦ.1998.С.125-127.

100. А.В.Титов."Взвешивание" критериев оценки качества на основе эталонного подхода и множеств уровня//Труды седьмого симпозиума "Квалиметрия человека и образования: методология и практика". - М.: ИЦ, 1998.

101. А.В.Титов.Формализованное моделирование пространства качества. // Труды седьмого симпозиума "Квалиметрия человека и образования: методология и практика". - М.: ИЦ,1998.

102.Ю.Тюрин,Б.Г.Литвак,А.И.Орлов . Анализ нечисловой информации // Математика и кибернетика, - М.: Знание, 1981.- С. 41-51.

103.В.А.Успенский.Что такое нестандартный анализ ?- М.: Наука, 1987,- 128 с.

104.Фонды комплексных квалификационных заданий по специальностям высшего образования.методические рекомендации./ Под ред. В.П.Беспалько.Н.А.Селезневой /- М.: Гособразование СССР,1989. - 88 с.

105.Н.В.Хованов .Математические основы теории шкал измерения качества.- Л.: ЛГУ им. Жданова , 1982. - 185 с.

106.Н.В.Хованов. Стохастические модели квалиметрических шкал.Л.: ЛГУ им. Жданова , 1988. - 78 с.

107.Л.Д.Цвиркун .Структура сложных систем,- М. : Сов . радио. 1975. - 100 с.

108.Н.В.Чичварин. Экспертные компоненты САПР. - М. : Машиностроение. 1991. - 240 с.

109-. И. Ф. Шахнов. Согласование решений в сложных системах. Аддитивная модель.-М.: ВЦ РАН, 1998. - 71 с.

110.Ю.А.Шрейдер Равенство сходство .порядок.- М.: Наука, 1971. -254 с.

111.Р.Р.Ягер.Множества уровня для оценки принадлежности нечетких множеств.// Нечеткие множества и теория возможностей.- М.: Радио и связь, 1988,- С.71 - 78 .

112.Р.Гольдблат. Топосы.Категорный анализ логики. - М. : Мир, 1983.- 486 с.

ИЗ. П. Т. Джонсон. Теория топосов.- М. : Наука, 1986. - 440 с.

114.Краткая философская энциклопедия,- М.: Прогресс - Энциклопедия, 1994. - 576 с.

115.Математическая энциклопедия.- М. : Сов.энциклопедия, т.4, 1984. - 1216 стб.

116.С.К.Клини. Введение в метаматематику,- М.:Изд-во иностранной лит-ры, 1957. - 526 с.

117.S.Assilan. Artifical intelligence in the control of real di-namic sistem.- Ph. D. thezis, Queen Marl College, University of London, 1974.

118.D.Dubois, H.Prade. Systems of linear fuzzy constraints// Fuzzu Sets and Systems v.3 ,N1 1977, p. 43 - 58.

119.D.Dubois, H.Prade. Fuzzu algebra: some results//Fuzzu Sets and Systems v. 2 ,N1 1979, p. 317 - .339.

120.D.Dubois, H.Prade. Fuzzu real algebra: some results//Fuzzu Sets and Systems v.3 ,N1 1980, p. 37 - 48.

121.D.Dubois, H.Prade.Fuzzu Sets and Systems.Theory and applications - N. Y.: Academic Press, 1980,- 393 p.

122.Fuzzy Automata and Decision Processes.- Ed. by M.M.Cupta, G.N.Saridis. N.Y. 1977. - 496 p.

123.J.Guilford. Psycometric Methods.- N.Y.:2nd ed. McGraw-Hill, 1954.

124.M.Muzumoto, K.Tanaka. Algebraic properties of fuzzu num-bers//In: Proc. IEEE, Int. Conf. Cybernetics and Society, 176,- p. 559-563.

125. D. H. Kraniz, D.Luce, P. Suppers, A.Tversky. Foundations of Measurement. v.1 -N.Y.: Academic Press, 1971.

126.J.Nunnaly. Psycometric Theory.- N.Y.:2nd ed. McGraw-Hill, 1978.

127.C.Osgood, G. Susi, P.Tannenbaum. The measurement of meaning.-University of Illinois Press,Ubana, 1957,- p.1-342.

128.R.Raged, M.Cupta. Fuzzy set theory introduction.//In: Fuzzy Automata and Decission Processes/ Ed. by M.Gupta, G.Saridis, B. Gaines. - Amsterdam: Nord-Holland, 1977,-p.105-131.

129.T.Saaty.Measuring the fuzziness of sets//Journal of Cybernetics, 1974, v.4,- p.53-56.

130.E.Sanchez. Inverses of fuzzy relations, application to possibility distribution and medical diagnosis//Fuzzy Sets and Systems, 1979,v.2, - p.75-86.

131.M.Shimura. Fuzzu sets concept In ranc - orderiny objects. // J. Math. Anal, and Appl.,1973, N43,- p. 717-753.

132.M.Sugeno. Fuzzy measure and fuzzu Integral.// Trans SICE , 1972, v. 8, N2, - p. 95 -102.

133.L.Zade. Fuzzy set.//Informática and Control, 1965, 8,-p.338-353.

134.L.Zade. Similarity relations and fuzzy orderlngs.// Inf.Sci.-1971.-N3.- p. 177-200.

Примечание: ИЦ- Исследовательский центр проблем качества подготовки специалистов.