Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Иванова, Татьяна Максимовна

• Иванова, Татьяна Максимовна
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Иванова, Татьяна Максимовна

Введение.

1 Анализ электронных образовательных ресурсов, применяемых при переподготовке специалистов промышленных предприятий.

1.1 Профессиональные знания и показатели их качества.

1.2 Анализ требований, предъявляемых к системам формирования и квалиметрии профессиональных знаний.

1.3 Анализ существующих видов оценки информационных систем.

1.4 Классификация образовательных ресурсов и требования к ним.

1.5 Применение информационных технологий при создании систем формирования и квалиметрии профессиональных знаний.

1.6 Обзор рынка современных систем тестирования электронных образовательных ресурсов.

1.7 Выводы.

2 Анализ и обоснование методов оценки систем формирования и квалиметрии профессиональных знаний.

2.1 Анализ методов оценки систем и классификационных шкал.

2.2 Методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний.

2.3 Методика расчета коэффициента компетентности.

2.4 Обоснование методики расчета согласованности мнений экспертов

2.5 Концептуальная модель оценивания объективности.

2.6 Применение однофакторного дисперсионного анализа для исследования зависимости результатов от групп экспертов.

2.7 Применение ранговой корреляции для анализа результатов оценки систем формирования профессиональных знаний.

2.8 Обоснование применения теории нечетких множеств для анализа систем формирования и квалиметрии профессиональных знаний.

2.9 Анализ общих принципов теории нечетких множеств.

2.10 Нечеткая база знаний и нечеткие логические высказывания.

2.11 Выводы.

3 Методика оценки систем формирования и квалиметрии профессиональных знаний.

3.1 Комплекс требований для оценки качества систем формирования и квалиметрии профессиональных знаний.

3.2 Расчет уровня компетентности экспертной группы и построение усредненной функции принадлежности.

3.3 Расчет степени согласованности мнений экспертов и оценки уровня объективности экспертной комиссии.

3.4 Дерево логического вывода для оценки систем формирования и квалиметрии профессиональных знаний.

3.5 Лингвистические переменные и нечеткая база знаний для оценки качества.

3.6 Выводы.

4 Реализация системы оценки систем формирования и квалиметрии профессиональных знаний.

4.1 Области применения информационной системы.

4.2 Выбор способа межпроцессного взаимодействия. Клиентская и серверная приложения системы.

4.3 Проведение оценки систем формирования и квалиметрии профессиональных знаний и анализ результатов.

4.4 Структура системы оценки систем формирования и квалиметрии профессиональных знаний на основе теории нечетких множеств.

4.5 Выводы.

Основные результаты работы и выводы.

Введение диссертации (часть автореферата) на тему «Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний»

В современных условиях на нефтяных, химических, машиностроительных и других промышленных предприятиях обостряется проблема обеспечения квалифицированными специалистами, при этом серьезной проблемой является не только своевременная подготовка новых кадров по новым направлениям, но и повышение квалификации, переподготовка большого числа специалистов отраслей. Это связано с необходимостью повышать теоретический уровень и практические навыки не только рядовых инженеров, но и руководителей, чтобы быть на уровне требований современного производства. В таких масштабах с охватом столь широкого круга людей переподготовка в России ранее не проводилась. Для любой отрасли в промышленности очень важно своевременно переподготовить кадры, поскольку просчет в этом может поставить экономику страны в очень тяжелое положение.

В таких условиях главным становится не только численное обеспечение отраслей промышленности специалистами, но и их новое качество. При этом требования к организации занятий особые, потому что человек, повышающий свою квалификацию, уже имеет профессиональное образование и требует высокого уровня преподавания.

Однако в системе обучения персонала существуют следующие основные противоречия:

- между состоянием развития промышленного производства, с одной стороны, и научно-методическим уровнем обучения, с другой;

- между потребностями в модернизации содержания, принципов его отбора и структурирования, форм, методов и средств производственного обучения, адекватных современным задачам переподготовки и повышения квалификации кадров, с одной стороны, и недостатком разработок в области методологии производственного обучения, с другой.

При этом с учетом требований мобильности и оперативности подготовки специалистов решение проблемы возможно только с применением информационных технологий и использованием электронных систем формирования и квалиметрии профессиональных знаний, имеющих определенную структуру и необходимые для изучения или повторения материала, а также контроля знаний обучающихся. Наряду с этим они должны быть ориентированы на определенную промышленную отрасль, например, должно присутствовать моделирование производственного процесса, аварийных ситуаций и объяснение методов их устранения, представление схем технологического процесса и ремонта оборудования. Методологическую основу исследований в области создания электронных обучающих средств формирования и квалиметрии профессиональных знаний составляют работы B.C. Аванесова, Е.А. Михайлычева, В.А. Хлебникова, А.Г. Шмелева, М.Б. Челышкова, О.А. Козлова, А.А. Кузнецова, Дж. Стэнли, Дж. Глассса и др. Однако, большие трудности возникают с оценкой подобных систем, особенно применяемых в различных сферах промышленности, где необходимо учитывать потребности отрасли.

В общем случае анализ и комплексная оценка требуют применения нескольких методов, поскольку осложненные условия исследования подобных систем приводят к необходимости учета ряда особенностей. В первую очередь, число электронных систем формирования и квалиметрии профессиональных знаний все более увеличивается, а их структура усложняется, в связи с этим при их выборе приходится анализировать большое количество показателей, характеризующих свойства программы наряду со специфическими профессиональными показателями. Кроме того, требуется учитывать тот факт, что переподготовка специалистов осуществляется за короткие сроки, в связи с этим важным становится не только наполнение обучающих программ, но и удобство работы с системой, пользовательский интерфейс.

В современных условиях одновременно предлагается множество электронных обучающих программ одного и того же назначения, что приводит к трудности выбора и принятии решения в пользу той или иной программы, сделанного после оценки ее качества. Причем выбор основан не на количественных расчетах, а осуществляется подсознательно и носит эвристический характер. В тоже время неточная или ошибочная оценка систем приводит к рискам, связанным с некачественной подготовкой специалистов, при этом возрастает риск понести убытки предприятиям, на которых работают данные сотрудники.

Также необходимо учитывать, что анализ и оценка систем формирования и квалиметрии профессиональных знаний является нетривиальной задачей, требующей методов отличных, например, от оценки технических систем. Применение только экспертного метода для анализа и оценки систем формирования и квалиметрии профессиональных знаний приводит к нечеткости (неоднозначности) естественного языка (лингвистическая неопределенность), а процедура принятия решения базируется на неполной информации, т.е. нечетких посылках. Неопределенность проявляется и при формировании списка требований, которым должны удовлетворять системы из-за постоянно меняющихся условий в промышленности.

Перечисленные выше особенности приводят к тому, что при анализе и оценке систем формирования и квалиметрии профессиональных знаний игнорируется существование неопределенностей, либо осуществляется предварительная, ненасыщенная оценка, основанная только на опыте и суждениях отдельной группы людей.

Целью настоящей диссертационной работы является системный анализ проблем переподготовки кадров на промышленных предприятиях и разработка методики комплексной оценки систем формирования и квалиметрии профессиональных знаний.

Для достижения поставленной цели необходимо решение следующих задач:

1. Проведение системного анализа факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, разработка классификации существующих и применяемых в промышленности электронных образовательных ресурсов.

2. Исследование основных видов и средств тестирования программного обеспечения.

3. Выбор критериев качества систем формирования и квалиметрии профессиональных знаний.

4. Разработка комплекса требований для оценки систем формирования и квалиметрии профессиональных знаний.

5. Разработка дерева показателей на основе многоуровневого принципа построения для формирования последовательности их влияния на качество систем.

6. Разработка системы соотношений взаимосвязи показателей для оценки интегрального показателя качества системы профессиональной подготовки.

7. Разработка базы знаний, определяющей систему логических высказываний.

Методы исследования базируются на комплексном применении методов системного анализа, теории нечетких множеств, методов статистического анализа, операций математической логики.

Научная новизна и значимость работы заключается в следующем:

1. Предложено системное описание факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, которое в отличие от аналогов, позволяет осуществить процедуру декомпозиции оценивания данной системы на отдельные группы и формализовать их влияние на интегральный показатель качества.

2. Разработана методика многокритериальной оценки качества, отличающаяся комплексным подходом к решению поставленной задачи, разработанная на основе анализа электронных образовательных ресурсов, применяемых для переподготовки специалистов на промышленных предприятиях, и позволяющая проводить оценку систем формирования и квалиметрии профессиональных знаний.

3. Разработано дерево логического вывода, отличающееся учетом иерархичности классов входных показателей качества и позволяющее формировать систему вложенных друг в друга нечетких баз знаний меньшей размерности.

4. Разработана методика формирования базы знаний с применением нечетких термов, отличающаяся учетом влияния как общих требований к оцениваемой системе, так и специфических профессиональных, что позволяет комплексно оценить систему формирования и квалиметрии профессиональных знаний.

Практическая ценность.

1. Предложенная методика многокритериальной оценки качества позволяет выполнять оценку в соответствии с поставленными требованиями к системе при переподготовке кадров в промышленных отраслях.

2. Внедрение концепции оценки систем формирования и квалиметрии профессиональных знаний позволяет оперативно прогнозировать ее качество.

3. Накапливаемый банк данных позволяет регламентировать процесс планирования, подготовки и проведения модернизаций систем, применяемых при обучении персонала в промышленности.

На защиту выносятся следующие положения:

1. Комплекс требований, предъявляемых к системам формирования и квалиметрии профессиональных знаний.

2. Методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний.

3. Дерево логического вывода, построенное с применением нечетких термов.

4. Методика оценки систем формирования и квалиметрии профессиональных знаний с учетом принципов лингвистического моделирования.

5. Математическая модель, представленная в виде соотношений, описывающих зависимость между частными показателями качества и интегральным показателем.

Реализация работы. Полученные в диссертационной работе решения и разработанные методики были использованы и внедрены в ОАО «Волга-бурмаш» (г. Самара), ФОАО «Волгомост» (г. Волгоград), ГОУВПО «Самарский государственный технический университет» и ООО «Искусственный интеллект» (г. Самара).

Апробация работы. Основные положения работы и результаты исследований докладывались и обсуждались на следующих конференциях: Всероссийский симпозиум «Математическое моделирование и компьютерные технологии» (Кисловодск, 2002); Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва, 2003); Международная научно-техническая конференция «Информационные, измерительные и управляющие системы» (Самара, 2005); Межрегиональная научно-практическая конференция «Тенденции и перспективы развития информационных технологий в высшей школе» (Тольятти, 2005); Международная научно-техническая конференция «Наука и образование» (Мурманск, 2005); Международная научно-техническая конференция «Применение новых технологий в образовании» (Троицк, Московская обл., 2005); Международная научно-техническая конференция «Современные информационные технологии». Весенняя сессия (Пенза, 2005); Всероссийская научно-практическая конференция «Актуальные проблемы науки в России» (Кузнецк, 2005); Международная научно-техническая конференция «Современные информационные технологии». Осенняя сессия (Пенза, 2005); Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва, 2006); Международная научно-техническая конференция «Наука и образование» (Белово, 2006); Международная научно-техническая конференция «Применение новых технологий в образовании» (Троицк, Московская обл., 2007).

Автор награжден Грамотой за инновационную научно-техническую разработку (2003), Дипломом министерства образования РФ по итогам конкурса 2003 года на лучшую научно-исследовательскую работу в рамках МКП НТО,

Дипломом ОАО «Приволжскнефтепровод» конкурса молодежи ОАО АК «Транснефть» на лучшую научно-техническую разработку 2003 года.

Публикации. По теме диссертации опубликовано 15 печатных работ, в том числе 2 статьи в журнале из перечня, рекомендуемого ВАК РФ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Она изложена на 146 страницах, содержит 14 рисунков, 14 таблиц, 3 приложения. Список использованных источников состоит из 96 наименований.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Иванова, Татьяна Максимовна

Основные результаты работы и выводы

Диссертационная работа посвящена анализу и комплексной оценке систем формирования и квалиметрии профессиональных знаний, а также созданию методики многокритериальной оценки качества электронных обучающих программ с учетом основных принципов лингвистического моделирования.

В работе получены следующие основные результаты:

1. Поставлены и решены задачи системного анализа факторов, влияющих на качество систем формирования и квалиметрии профессиональных знаний, а также исследованы основные виды и средства тестирования программного обеспечения, что позволило выявить основные требования, предъявляемые к системам подобного типа.

2. Разработан комплекс требований, отличающийся комплексным подходом к решению поставленной цели и позволяющий проводить оценку систем формирования и квалиметрии профессиональных знаний на основании выбранных критериев качества и с учетом специфических профессиональных требований.

3. Разработана методика системного анализа оценки качества систем формирования и квалиметрии профессиональных знаний.

4. Разработано дерево логического вывода, позволяющее формировать систему вложенных друг в друга нечетких баз знаний и комплексно оценивать систему формирования и квалиметрии профессиональных знаний.

5. Разработана система соотношений взаимосвязи показателей для оценки интегрального показателя качества системы профессиональной подготовки на базе многокритериальной оценки.

6. Предложены нечеткие логические высказывания, позволяющие описать отношения между введенными показателями и являющиеся основой при анализе и оценки систем формирования и квалиметрии профессиональных знаний.

7. Разработана концепция оценки качества систем, применяемых для переподготовки кадров на промышленных предприятиях, позволяющая получать оценку по каждой группе критериев.

8. Предложено применение концепции оценки систем формирования и квалиметрии на промышленных предприятиях для оперативного прогнозирования качества систем.

Список литературы диссертационного исследования кандидат технических наук Иванова, Татьяна Максимовна, 2007 год

1. Аннотация составляется и оформляется в соответствии с ГОСТ

2. Материал, представленный в системе и являющийся аналогом печатного учебного издания содержит выходные сведения соответствующего печатного издания

3. Специфические профессиональные требования к системе

4. Понятное изложение основных принципов обращения с техническими объектами данной профессиональной сферы

5. Предусмотрена возможность сопряжения с учебно-лабораторным и экспериментальным оборудованием, а также стандартной измерительной и вычислительной аппаратурой

6. Возможность использования системы для разного уровня образования с учетом профессионально-ориентированной направленности и междисциплинарных связей

7. Описание основных промышленных объектов представлено с использованием графиков, мнемосхем, виртуальных образах изучаемых объектов, анимации и т.д.

8. Наличие списка руководящих документов, международных и отечественных стандартов данной профессиональной сферы

9. Таким образом, результаты тестирования перед обработкой методами математической стаитистики заносятся в таблицу 7.

10. Аванесов B.C. Композиция тестовых заданий. - М.: Адепт, 1998. -217с.

11. Аверкин А.Н., Батыршин И.З., Блишун А.Ф. и др. Нечеткие множества в моделях управления и искусственного интеллекта/Под ред. Д.А. Поспелова. М.: Наука. Гл. ред. физ.- мат. лит., 1986. - 312 с.

12. Азгальдов Г.Г., Райхман Э.П. О квалиметрии. М.: Издательство стандартов, 1972. - 172 с.

13. Андреев А.А., Солдаткин В.И. Дистанционное обучение: сущность, технология, организация. М.: Изд-во МЭСИ, 1999. - 196 с.

14. Анфилатов B.C., Емельянов А.А., Кукушкин А.А. Под ред. А.А.Емельянова Системный анализ в управлении. М.: Финансы и статистика, 2002. - 368 с.

15. Беллман Р., Заде JI. Принятие решений в расплывчатых условиях В сб.: Вопросы анализа и процедуры принятия решений. М: Мир, 1976, с. 172-215.

16. Белышкин А., Головач В. Четырежды не адекватен http://www.w3.Org/l 999/xhtml

17. Беспалько В.П. Стандартизация образования: основные идеи и понятия// Педагогика. 1993, 5. - с. 16-25

18. Беспалько В.П. Слагаемые педагогической технологии. М.: Педагогика, 1989.- 192 е.: ил.

19. Ю.Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. - 263 с.

20. Борисов В.В. Нечеткие модели и сети. М.: Горячая линия-Телеком, 2007. - 284 с.

21. Борисов А.В., Алексеев А.В., Меркурьева Г.В. Обработка нечеткой информации в системах принятия решений. М.: Радио и связь, 1989. -304 с.

22. Бородулин И.Н. Тестовый контроль-метод объективной оценки качества подготовки специалистов // Тезисы докладов Всесоюзной научн. -метод, конф. Часть 2. Уфа, 1991. - С. 155.

23. М.Бромберг И. Автоматизация тестирования http://www.osp.ru/w2k/cgi-bin/user.cgi?a=subscribe

24. Буканов Ф.Ф., Губанов Н.Г., Погорелова Е.В. Системный анализ и моделирование профессиональных баз знаний. Самара: Са-мар.гос.техн.ун-т, 2004. - 217с.

25. Буканов Ф.Ф., Меркушев А.Н., Погорелова Е.В. Автоматизированная система оценки профессионального уровня // Тезисы докладов Республиканской науч.- метод, конф. "Пути и методы совершенствования учебного процесса". -Самара, 1992. -.с.54.

26. Вайншток С.М. Трубопроводный транспорт нефти. -М.: ООО «Недра-Бизнесцентр», 2002. Т. 1 - 407 с.

27. Валуев С.А, Волкова В.Н. Системный подход в экономике и организации производства. JL: Политехника. 1991. - 398 с.

28. Вересков А.А., Кузьмин В.Б. Федоров В.В. Определение степеней принадлежности на основе совокупности матриц Саати для нечетких множеств//Сб.тр. ВНИИСИ.- 1982. -№10.

29. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа: Учебник для студ. Вузов. Изд. 2-е перер. и доп. СПб. Изд. СПбГТУ, 2001.-512 с.

30. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2000. - 384 с.

31. Гейн К., Сарсон Т. Структурный системный анализ: средства и методы. М: «Эйтекс», 1992.-274 с.

32. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М. 1976.-495 с.

33. Головач Вл. Дизайн пользовательского интерфейса www.uibook.ru

34. Головач В., Манучаров К. Текст для Web. Доступность и привлекательность. СПб.: Вильяме, 2003.

35. ГОСТ 7.32-2001 Отчет о научно-исследовательской работе. -М.: Издательство стандартов, 2002.- 24 с.

36. Грушецкий С.В., Рудинский И.Д. Статистические методы оценивания знаний // Ученые записки ИИО РАО. М., 2004.

37. Дастин Э., Рэшка Дж., Пол Джон Автоматизированное тестирование программного обеспечения. СПб.: Лори, 2003. - 592 с.

38. Дегтярев Ю.И. Системный анализ и исследование операций: Уч. для студ. Вузов. -М.: Высш.школа, 1996. 335 с.

39. Долженко О.В., Шатуновский В.Л. Современные методы и технология обучения в техническом вузе: Метод, пособие. М.: Высш. шк., 1990. -191 е.: ил.

40. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 1978. - 160 с.

41. Егорова Т.М. Тестирование электронных обучающих программ и оценка достоверности полученных результатов // Радиоэлектроника, электротехника и энергетика: Тез. докл. Международ, нучно-техн. конф. М.: МЭИ, 2006. - B.l. -С.395.

42. Егорова Т.М. Анализ языков и технологий разработки электронных обучающих программ // Современные информационные технологии. 2005

43. Егорова Т.М. Тестирование обучающих программ // Актуальные проблемы науки в России: Материалы Всероссийской научно-практ. конф. Кузнецк: КИИУТ, 2005 134 с.

44. Егорова Т.М. Системный анализ эффективности обучающей системы // Наука и образование. 2005, Часть IV.

45. Ежкова И.В. Семантически-инвариантная формализация лингвистических оценок. М.: МДНТП, 1983.

46. Ематин В. Автоматизация процесса тестирования //Тестирование и качество. 2005 №2

47. Емельянов А.А., Власова Е.А., Дума Р.В. Имитационное моделирование экономических процессов. М.: Финансы и статистика, 2002. - 368 с.

48. Заде JI. Понятие лингвистической переменной и ее применение к принятию приближенных решений. М.:Мир,- 1976.-167 с.

49. Зелковец М., Шоу А., Гэннон Дж. Принципы разработки программного обеспечения. М.: Мир, 1982.

50. Калейчик М.М. Квалиметрия. М.: МГИУ, 2006. - 200 с.

51. Калинина В.Н., Панкин В.Ф. Математическая статистика. М.: Дрофа, 2002.-336 с.

52. Калянов Г.Н. CASE структурный системный анализ. М.: Лори, 1996. -241 с.

53. Колтунова Е. Требования к информационной системе и модели жизненного цикла http://www.silicontaiga.ru/

54. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.-432 с.

55. Кузнецов А.Н. Инвестиции в профессионализм // Трубопроводный транспорт нефти. 2006. - №8. - с. 41 -43

56. Кулямин В.В., Петренко О.Л. Место тестирования среди методов оценки качества программного обеспечения http://software-testing.ru/

57. Льноградский Л.А. Горизонты системного анализа. Самара: ИЭКА «Поволжье», 2000. - 244 с.

58. Майерс Г. Надежность программного обеспечения. М.: Мир, 1980.

59. Майоров А.Н. Теория и практика создания тестов для системы образования. М.: Народное образование, 2000. - 352 с.

60. Мандел Тео Разработка пользовательского интерфейса. М.: ДМК Пресс, 2001.-416 с.

61. Марка Д. А. МакГоуэн К. Методология структурного анализа и проектирования. М.: МетаТехнология, 1993. - 240 с.

62. Марченко Е. Что такое качество программного обеспечения? http://software-testing.ru

63. Морозов В.К., Маматов Е.Г., Егорова Т.М. Учебно-методические комплексы на базе технологий электронного обучения // Открытое образование. 2002, №2

64. НПГ «Планета» Обучающие программы http://mediaplanet.ru

65. Образцов В.И., Косухин В.М. Дидактика высшей военной школы. -Орел: Академия Спецсвязи России, 2004. 317 с.

66. Поспелов Д.А. Нечеткие множества в моделях управления и искусственного интеллекта. М.:Наука.-1986.-312 с.

67. Равен Дж. Педагогическое тестирование: проблемы, заблуждения, перспективы. М.: Когито Центр, 2001 - 142 с.

68. Раскин Дж. Интерфейс. Новые направления в проектировании компьютерных систем. М.: Символ Плюс, 2003.

69. Роберт К., Браун К., Кобб Г. Быстрое тестирование. СПб.: Вильяме, 2002.

70. Роберт И.В., Романенко Ю.А., Босова Л.Л., Иващенко М.В., Потапов В.Е. Инструментальные средства информатизации образования. // Ученые записки ИИО РАО. М.: Политиздат, 1991. - 672 с.

71. Ротштейн А.П., Штовба С.Д. Нечеткая надежность алгоритмических процессов.- Винница: Континент-Прим.-1997.- 142 с.

72. Рудинский И.Д. Основы формально-структурного моделирования систем обучения и автоматизации педагогического тестирования знаний. -М.: Горячая линия Телеком, 2004. - 204 с.

73. Рудинский И.Д., Клеандрова И.А. Как оценить объективность контроля знаний?// Педагогическая диагностика, 2003. №3

74. Сидоренко Е.В. Методы математической обработки в психологии. -СПб.: ООО «Речь», 2004. 350 с.

75. Система управления качеством продукции. Экспертные методы оценки качества продукции. Организация и проведение экспертной оценки качества продукции: ГОСТ 23554.0-79. М.: Изд-во стандартов, 1979

76. Скаткин М.Н., Краевский В.В. Качество знаний учащихся и пути его совершенствования. М.: Педагогика, 1978 - 208 с.

77. Советов Б.Я., Яковлев С.А. Моделирование систем. -М.: Высш.шк., 2005.-343 с.

78. Спицнадель В.Н. Основы системного анализа: Учебное пособие. -СПб. Изд.дом «Бизнес-пресса», 2000. 326с.

79. Степанов И.С. Rational PerformanceStudio средство автоматизированного тестирования распределенных сетевых приложений http://www.interface.ru/rational/perf5.htm

80. Суходольский Г.В. Основы математической статистики для психологов. СПб.: Петрополис, 1994. - 64 с.

81. Тамре Л. Введение в тестирование программного обеспечения. СПб.: Вильяме, 2003. - 368 с.

82. Терехов А., Туньон В. Современные модели качества программного обеспечения http://www.sei.cmu.edu/cmm/

83. Толстова Ю.Н. Логика математического анализа социологических данных. М.: Наука, 1991. - 112 с.

84. Федюкин В.К., Дурнев В.Д., Лебедев В.Г. Методы оценки и управления качеством промышленной продукции: Учебник. М.: Филин, 2000. -328 с.

85. Фигурин В.А., Оболонки В.В. Теория вероятностей и математическая статистика. М.: Новое знание, 2000.

86. Черекдичи Э.И., Горицкий В.Н. Испытание на качество // Трубопроводный транспорт нефти. 2005. - №5. - с. 40-43

87. Цибульский Г.М., Герасимова Е.И., Ерошин В.В. Модели обучения автоматизированных обучающих систем http://systech.miem.edu.ru/ 2004/n2/Cibulskiy.htm

88. Шапиро Д.И. Принятие решений в системах организационного управления: Использование расплывчатых категорий. М.: Энергоатомиз-дат, 1983.- 184 с.

89. Шеннон К. Работы по теории информации и кибернетике. М.: Изд-во иностр. лит., 1963

90. Ярочкина Г.В. Организация контроля качества профессионального обучения незанятого населения. М., 2000.

91. Ярушкин Н.Г. Основы теории нечетких и гибридных систем. М.: Финансы и статистика, 2004. - 320 с.

92. Яхъяева Г.Э. Нечеткие множества и нейронные сети. Минск: Бином, 2006.-316 с.

93. Bojadziev G., Bojadziev М. Fuzzy Logic for Business, Finance and Management //Advances in fuzzy systems.- 1997.- Vol 12. World Scientific.-232 p.

94. Cleancey W. Classification problem solving || Proc. Nat. Conf. Artif. Intel-ling. AAAI. Univ. Texas. Austin, 1984.

95. Curran T. Gerhard K. SAP R/3 Business blueprint. -Prentice Hall, 1998. -287 p.

96. Digital Copyright Policy Issues in Higher Education. WebNet Journal #2 -1999-p. 5-6

97. Innovations in Science and Technology Education //D. Layton, ED., v.l -London 1984.

98. Miller G.A. The Magic Number Seven Plus or Minus Two: Some Limits on Our Capacity for Processing Information //Psychological Review.- 1956,- № 63.- p. 81-97.

99. Schneider M., Kandel A., Langholz G., Chew G. Fuzzy Expert System Tools.- John Willey & Sons.-1996.- 198 p.

100. Tuninga R. S. J., Seinen I.B. J. / The supply and demand of DE in Russian. -1995.

101. Zadeh L.A. Toward a Perception-Based Theory of Probabilistic Reasoning with Imprecise Probabilities // Journal of Statistical Planning and Inference 105 (2002). http://sedok.narod.ru/sfiles/poland/Zadeh.pdf

102. Yager R.R. A Measurement-Informational discussion of Fuzzy Union and Intersection//Intern. J. of Man-Machine Studies. 1979.