Мониторинг качества обучения в техническом вузе на основе ретроспективного экспертного комплекса тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Шорохов, Максим Иосифович

• Шорохов, Максим Иосифович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Шорохов, Максим Иосифович

ОГЛАВЛЕНИЕ.

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

1 АНАЛИЗ ПОДХОДОВ К КАЧЕСТВУ ОБУЧЕНИЯ В ТЕХНИЧЕСКОМ ВУЗЕ.

1.1 Объект мониторинга и его роль в разработке управленческих решений.

1.2 К определению методологии и объекта мониторинга качества обучения.

1.3 Мониторинг качественных особенностей современных обучающих систем.

1.4 Краткие выводы по главе 1.

2 МЕТОДИКА ПОСТРОЕНИЯ СИСТЕМЫ МОНИТОРИНГА КАЧЕСТВА ОБУЧЕНИЯ НА ОСНОВЕ РЕТРОСПЕКТИВНОГО ЭКСПЕРТНОГО КОМПЛЕКСА.

2.1 Структуралистский подход к построению моделей объектов мониторинга качества обучения.

2.1.1 Системология построения модели оценки качества заданной предметной области знаний на основе методики РЭКС.

2.1.2 Заданный подход: категориально-системный классификатор задач.

2.1.3 Документальные источники информации качества обучения, как исходные системы объектов мониторинга.

2.2 Циклология документальных объектов мониторинга качества обучения.

2.2.1 Предпосылки исследования.

2.2.2 Документальные объекты мониторинга качества обучения в жизненном цикле обучения в вузе.

2.3 Мониторинг качества обучения тестированием.

2.3.1 Система «ТЕСТ» как базовая подсистема мониторинга качества обучения.

2.3.2 Тестирование в цикле мониторинга качества обучения.

2.4 Краткие выводы по главе 2.

3 РАЗРАБОТКА КРИТЕРИЕВ И МОДЕЛЕЙ

СОПРОВОЖДЕНИЯ СМКО.

3.1 Мониторинг динамики средних значений и рейтинга.

3.1.1 Адекватная статистика и критерий качества выборки множества оценок РТЭИ.

3.1.2 Формирование общего критерия качества ранговой оценки ретроспективной выборки данных.

3.2 Аддитивно-мультипликативный критерий качества, базовая модель оценки качества.

3.2.1 Формализованное описание критерия М1.

3.2.2 Функциональный и семантический анализ критерия эффективности М1.

3.2.3 Прогностические свойства критерия М1.

3.3 Модели критериев формирования коэффициентов доверия, ситуационный анализ и синтез.

3.3.1 Коэффициент доверия по посещаемости.

3.3.2 Коэффициент доверия по выполнению заданий.

3.3.3 Коэффициент доверия по самооценке обучаемого.

3.4 Учет меры нечеткости интегральных данных в зависимости от циклов мониторинга.

3.5 Альтернативный подход к формированию модели.

3.5.1 Принцип альтернативного подхода к исследованию критерия качества.

3.5.2 Конкретизация модели минимакса в системе матрицы оценок обучаемого.

3.5.3 Формирование критерия и оценки качества; альтернативная модель М4.

3.6 Краткие выводы по главе 3.

4 ПРАКТИЧЕСКОЕ ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ

ИССЛЕДОВАНИЙ.

4.1 Программная реализация компонент СМКО.

4.2 Особенности организации и внедрения СМКО.

Л* 4.3 Отработка системы и результаты экспериментов.

4.4 Краткие выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Мониторинг качества обучения в техническом вузе на основе ретроспективного экспертного комплекса»

На парламентских слушаниях, недавно прошедших в Совете Федерации, министр образования и науки РФ отметил: "Меняется экономика мира и образование должно стать непрерывным. Каждые 5-7 лет надо доучиваться или переучиваться. Необходимо менять и технологию обучения". [43, 47] Среди главных проблем министр назвал механизм управления, содержание и технологии образования.

В связи с развитием дистанционного образования и компьютерных форм обучения на первый план выходят вопросы, связанные с решением обеспечения качества образования, которые обсуждались и нашли отражение в материалах XIV Всероссийского совещания по "Проблемам качества образования", проведенного в 2004 г. под патронажем "Исследовательского центра проблем качества подготовки специалистов" Московского государственного института стали и сплавов (технологического университета). [97, 98, 106]

Актуальность работы обуславливается необходимостью решения новых задач, возникающих в техническом вузе при реализации мониторинга качества обучения, связанного с накоплением, обработкой и анализом ретроспективной, текущей и экспертной информации (РТЭИ). [87]

Проблемы мониторинга качества обучения в определенной мере можно отнести к классу задач упорядочения согласования и координации, реализуемых в условиях оперативного и ситуационного управления и при существенном учете влияния человеческого фактора. В подобных задачах затруднено непосредственное применение физического подхода к анализу причинно-следственных связей из-за большой степени сложности этих связей и неопределенности их проявлении, когда определяющей становятся экспертные технологии в разработке управленческих решений. [57, 59, 58, 112, 74]

Новое звучание поставленные вопросы получили со вступлением России в Болонский процесс, заостряющий внимание и на контроле качества и социальных функциях образования. [101, 8, 29, 30, 60, 119, 130]

В работе содержатся теоретические положения, характерные для структуралистского направления развития системологии и системогенети-ки, которые были положены в основу общей методологии и реализации концептуально-программного подхода при разработке системы моделей ретроспективного экспертного комплекса. [45, 116, 25, 77] Система мониторинга качества обучения (СМКО) предназначена для интеллектуальной поддержки, стимулирования и сопровождения учебного процесса на протяжении всего жизненного цикла обучения в вузе: от состояния «абитуриент» до состояния «дипломник - выпускник».

Особенности предлагаемого подхода состоят в следующем:

• реализованы модели критериального описания качества обучения в соответствии с традиционно принятой в обучении системой оценок;

• представлена содержательно-качественная дуальность свойств любой модели, связанная с процессами ее изучения и применения, т.е. модель изучается как абстракция определенной предметной области знаний (ПОЗ) и применяется как средство интерпретации при решении задач в СМКО;

• при разработке моделей используется интеллектуально-интуитивный подход, принцип «скользящего планирования» и сис-темология «решателей», в форме структуры рациональных и эмпирических систем (РЭС) в интегрированной интерпретации по А.И. Кухтенко - Дж. Клиру;

• сформированы имитационно-оценочные модели прогнозирования результата предметного цикла средствами теории принятия решений (на основе понятий субъективной вероятности и полезности)',

• СМКО реализуется на обобщении аддитивно-мультипликативной модели критерия качества (как результата и как процесса) в зависимости от механизма определения степени доверия и в виде программно-математического комплекса для персонального компьютера.

Целью диссертационной работы является разработка методики построения мониторинга качества обучения на основе рационально-эмпирических комплексов и идеологии жизненных циклов системогенети-ки; разработка методов формализации и создания на их основе порождающих моделей критериев качества и механизмов оценки качества обучения; разработка эмпирических систем и моделей данных (исходной системы, системы данных и систем порождения, по терминологии Дж.Клира) для трансформации РТЭИ в системе мониторинга качества обучения и интеграции СМКО в информационную среду вуза для формирования и поддержки процесса обучения.

Достижению поставленной цели подчинено решение следующих задач:

1. Анализ состояния проблемы качества образования и системы обучения; выделение положений и принципов, обеспечивающих достижение цели исследования.

2. Рассмотрение свойств и качественных особенностей объекта мониторинга качества обучения с позиций методологии системообразующих комплексов системологии и теории циклов системогенети-ки.

3. Разработка и исследование модели критерия оценки качества учебного процесса аддитивно-мультипликативного типа по данным РТЭИ.

4. Разработка средств и механизмов идентификации объектов мониторинга для системы сопровождения и интеллектуальной поддержки процесса мониторинга качества обучения.

5. Решение задачи построения прогнозов на основе критериальных моделей и оценки качества деятельности обучаемых.

6. Предложение новой меры оценки качества по нечеткости ретроспективных данных, определяемой на основе энтропийного усреднения меры возможностей.

7. Оценка эффективности внедрения СМКО и связей с перспективными проблемными исследованиями и разработками.

Для решения и исследования поставленных задач были использованы методы квалиметрии, исследования операций и теории принятия решений; методология системного анализа и структуралистского направления системологии; методы теории циклов и методология системогенетики; методология креативной педагогики и когнитивной психологии; методы разработки компьютерных обучающих систем; общенаучные методы отождествления, сравнительного анализа и аналогий; методы экспертных технологий принятия управленческих решений.

На защиту выносятся:

1. Концептуально-эвристический подход и методология формализации критериальной системы моделей и оценки качества обучения.

2. Гипотетическая модель критерия качества аддитивно-мультипликативного типа для системы порождения базовой оценки качества обучения в вузе.

3. Результаты анализа имитационно-оценочных прогностических свойств модели критерия качества и способ графоаналитического представления задачи последовательного сопровождения решения в зависимости от изменения оценки коэффициента доверия.

4. Модель трёхмерного пространства представления коэффициента доверия и её проекции как средства формирования коэффициента доверия по нечеткости энтропийной меры интегральной оценки качества ретроспективных данных ЖЦО.

5. Критериальная модель для изучения и применения в качестве метода формирования базовой оценки в пространстве проекций поверхности линейчатого гиперболического параболоида.

6. Система мониторинга качества обучения (в форме программно-математического и документального обеспечения), реализующая компьютеризированный процесс интеллектуального сопровождения и обработки данных РТЭИ.

Научная новизна диссертации заключается в предложении и реализации системологических и системогенетических принципов и подходов к формализации системы и процесса мониторинга качества обучения, позволивших реализовать систему конкретных моделей оценки качества обучения по данным экспертных оценок, документально доступных в виде РТЭИ в любом вузе. Базовый критерий оценки качества имеет универсальный характер, обладает прогностическими свойствами и трансформирован в формальные постановки ряда задач многоаспектного мониторинга РТЭИ. Разработана компьютерная система интеллектуальной поддержки и сопровождения мониторинга качества обучения в процессе всего жизненного цикла обучения в вузе, реализующая технологию получения, обработки и анализа экспертной информации для формирования управленческих решений.

Практическая значимость состоит в том, что применение системы мониторинга качества обучения в условиях, когда персональная техника доступна для каждого обучаемого, реализует новые качественные свойства обучения в системе отношений «преподаватель-обучаемый», позволяет ориентировать систему не только на деканаты и кафедры, но и на каждого преподавателя и обучаемого непосредственно и учебную группу (поток) обучаемых в целом.

Внедрение результатов. Разработанная система мониторинга качества обучения (СМКО) реализована в виде комплекса организационного и программно-математического обеспечения.

Внедрение комплекса осуществлено по месту разработки на кафедре «Интеллектуальные технологии и системы» Московского государственного института радиотехники, электроники и автоматики (технического университета) (в дальнейшем МИРЭА) и на кафедре «Информационные технологии и системы в экономике и управлении» Московского государственного индустриального университета.

Внедрение результатов диссертационного исследования в МИРЭА и в других образовательных учреждениях подтверждено соответствующими актами.

Апробация работы. Результаты диссертационной работы докладывались и обсуждались на следующих конференциях и форумах:

• Международная научно-техническая конференция и Российская научная школа «Системные проблемы качества, математического моделирования и информационных технологий», г. Сочи. 1999, 2000, 2002, 2003,2004 гг.

• Научно-техническая конференция МИРЭА:

50-я юбилейная НТК, 2001 г.; 52-я НТК, 2003 г.; 53-я НТК, 2004 г.;

• Научно-практическая конференция «Современные информационные технологии в управлении и образовании: новые возможности и перспективы использования», в рамках реализации программы «Электронная Россия», г. Москва, 2001 г.

Научно-техническая конференция «Мульти и телемедийные средства в образовании», г. Москва, МГСУ, апрель 2001 г. Пятая научно-практическая конференция «Современные информационные технологии в управлении и образовании», г. Москва, НИИ «ВОСХОД», 2005 г. [86]

Заключение диссертации по теме «Управление в социальных и экономических системах», Шорохов, Максим Иосифович

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В диссертации предложены, апробированы и внедрены: методика, математическое и программное обеспечение системы мониторинга качества обучения на основе ретроспективного экспертного комплекса. Система предназначена для решения задач информационного сопровождения, прогнозирования и поддержки процесса принятия управленческих решений, направленных на оперативное и долгосрочное управление обучением в вузе. Получены следующие научные и практические результаты.

1. Проведен анализ существующего многоаспектного описания качества, выделены положения и принципы, необходимые для формирования системы мониторинга качества обучения на основе моделей обработки количественных данных ретроспективно-экспертной информации.

2. Предложено и реализовано рассмотрение свойств и качественных особенностей ретроспективной, текущей и экспертной информации, как комплексной системы наблюдений по системной методологии рационально-эмпирических комплексов и теории циклов.

3. Разработана концептуальная модель аддитивно-мультипликативного типа критерия качества и ее описание в виде системообразующего рационально-эмпирического комплекса. Проведен функциональной анализ модели и предложен механизм оценки качества, основанный на скрытых свойствах (качествах) модели.

4. Разработана альтернативная система оценки качества на базе модели критерия качества в форме поверхности линейчатого гиперболического параболоида. Проведен анализ характера изменений области допустимых решений от изменения параметров модели.

5. Разработана система формирования коэффициента доверия по ретроспективным, текущим и экспертным данным обучения. Предложена качественно новая мера оценки коэффициента доверия в виде энтропийной меры нечеткости, определяемой по формуле Шеннона.

6. Разработанные модели и методы формирования критериев и оценок качества обучения реализованы в виде системы мониторинга качества обучения. Система предназначена для информационной поддержки пользователей и организаторов систем обучения. Матричная форма описания данных и масочные технологии обработки данных обусловили простоту реализации и удобство использования системы.

7. Результаты диссертационной работы внедрены в учебный процесс в Московском государственном институте радиотехники, электроники и автоматики (техническом университете), Московском государственном индустриальном университете.

Список литературы диссертационного исследования кандидат технических наук Шорохов, Максим Иосифович, 2005 год

1. Абовский Н.П. Творчество: системный поход, законы развития принятия решений. М.: СИНТЕГ, 1998. 296 с.

2. Аванесов B.C. Теоретические основы разработки педагогических тесто / Дис. на соиск. степени док. пед. наук. Л., 1995. - 350с.

3. Аванесов B.C. Научные проблемы тестового контроля знаний. М.: Исследовательский центр, 1994. - 135с.

4. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. — М.: Исследовательский центр, 1995. 167 с.

5. Аванесов B.C. Композиция тестовых заданий. Учебная книга для преподавателей вузов, учителей школ, аспирантов и студентов педвузов. М.: Ассоциация инженеров-педагогов г. Москвы. 1996, 191 с.

6. Акофф Р. Искусство решения проблем: Пер. с англ. М.: Мир, 1982.-224с.

7. Альтшуллер Г.С. Как научиться изобретать. Тамбов: Книжное изд-во, 1961, 128с.

8. Байденко В.И. Болонский процесс и высшая школа России: время выбора // Высшее образование сегодня. 2003. - № 1.-е. 2-7.

9. Байрамов Ж.А. Тестовый контроль знаний как средство организации учебной деятельности студентов. Дис. канд. пед. наук. 13.00.01. Махачкала, 1999.

10. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003. - 616 с.

11. Беллман Р. Динамическое программирование и современная теория управления. М.: Наука. 1969 - 120 с.

12. Беллман Р. Динамическое программирование. М.: Изд-во ИЛ. 1960.

13. Берталанфи Л. фон. История и статус общей теории систем/Системные исследования ¡Ежегодник, 1972. М.:Наука, 1973. - С 20-37.

14. Берталанфи Л. фон. Общая теория систем критический об-зор//Исследования по общей теории систем. М.: Прогресс, 1969. -с.23-82.

15. Беспалько В.П. Основы теории педагогических систем. (Проблемы и методы психолого-педагогического обеспечения технических обучающих систем). Воронеж: Изд. Воронежского университета, 1977,-304с.

16. Беспалько В.П. образование и обучение с участием компьютеров (педагогика третьего тысячелетия). М.: Изд-во МПСИ; Воронеж: Изд-во НПО «МОДЭК», 2002. - 352 с.

17. Блауберг И.В., Юдин Э.Г. Становление и сущность системного подхода. М.: Наука, 1973.- 112с.

18. Бородастов Г.В., Альтшуллер Г.С. Теория и практика решения изобретательских задач. М.: ЦНИИатоминформ, 1980. с.44.

19. Боулдин К. Общая теория систем скелет науки//Исследования по общей теории систем. - М.: Прогресс, 1969. - с.106-124.

20. Бусленко Н.П. и др. Лекции по теории сложных систем -М.: Советское радио, 1973. -440с.

21. Вентцель Е.С. Исследование операций: задачи, принципы, методология. М.: Наука, Гл. Ред. ФМЛ, 1980. -208с.

22. Вентцель Е.С. Элементы теории игр. -М.: Физматгиз, 1961.

23. Волкова В.Н. Искусство формализации. СПб.: Изд-во СПбГТУ, 1999. - 89 с.

24. Волкова В.Н., Денисов A.A. Основы теории систем и системного анализа: Учебник. СПб.: Изд. СПбГГУ, 1997. -510с.

25. Вопросы системогенетики. Теоретико-методологический альманах / Под. ред. Субетто А.И. Кострома: Изд-во КГУ им. Н.А.Некрасова, 2003.-271 с.

26. Гайнетдинов M.JL, Иванов Ю.С. Элементы теории систем автоматизированного обучения: Учеб. Пособие. Казань: Дента, 1995. -103 е.: ил.

27. Гиг Дж. Ван. Прикладная теория систем М.: Мир, 1981. -730с.

28. Гольдентрихт С.С. Коршунов A.M. и др. Диалектика и теория творчества. — М.: Изд-во Моск. Ун-та, 1987.

29. Гребнев JI. Высшее образование в Болонском измерении: российские особенности и ограничения // Высшее образование в России. 2004. - № 1.-С. 36-42.

30. Гребнев JI. Россия в Болонском процессе: середина большого пути // Высшее образование в России. 2004. - № 4. - С. 3-17.

31. Дзегеленок И.И. Информационные технологии в управлении качеством образования: Учебное пособие / Под ред. Д.т.н., проф. H.A. Селезневой. М.: Исследовательский центр проблем качества подготовки специалистов, 2004. - 68с.

32. Диксон Дж. Проектирование систем: изобретательство, анализ и принятие решений. М.: Мир, 1969. -440с.

33. Дюбин Г.Н., Суздаль В.Г. Введение в прикладную теорию игр. М.: Наука, 1981.

34. Егоров И.П. О математических структурах. М.: Знание, 1976, 64с.

35. Заличев H.H. Энтропия информации и сущность жизни. М.: Радиоэлектроника, 1995. 192 с.

36. Зиновкина М.М. Инженерное мышление (теория и инновационные педогогические технологии): Монография. М.: МГИУ, 1996, 284с.

37. Зиновкина М.М. Формирование творческого технического мышления и инженерных умений студентов технических вузов. Дисс. д-ра пед. Наук. М.: Академия педагогических наук, 1989. 326с.

38. Зиновкина М.М., Гареев Р.Т., Юрасов А.Б. Развитие воображения. / ТРИЗ, 1996, №2/3. стр. 52-55.

39. Зиновкина М.М., Подкажилин A.B. Основы инженерного творчества и компьютерная интеллектуальная поддержка мышления. Учебн. Пособие. ч.4. Азбука ТРИЗ. Практический курс. М.: МГИУ, 1997. -174с.

40. Ильин C.B. Инструментальные средства поддержки решения системных задач. / Дис. на соиск. уч. степ, к.т.н. М.: МИРЭА, 1997. -134 с.

41. Исследование операций. Том 1. Методические основы. Математические методы. -712с., Том2. Модели и применения. -677с. Пер с англ. /Под ред. Дж. Моудера,с. Эльмаграби М.: Мир, 1981 -1389с.

42. Казанович В.Г. Образовательная система как объект оценивания (квалиметрический подход). /Диссертация на соискание уч. ст. к. пед. н. Москва, 1995.

43. Каковы перспективы нашей системы образования? // Вузовские вести: Росс, инф.-аналит. газета ректоров, проректоров, преподавателей, аспирантов, студентов, абитуриентов 2004 г.-№ 24 (214) 16-31 декабря—с. 1-2.

44. Квалиметрия человека и образования: методология и практика (в 4-х ч.) /Под ред. д.э.н. Субетто А.И и д.т.н. Селезнёвой H.A. М.: Исследовательский центр проблем качества подготовки специалистов, 1994.

45. Клир Дж. Системология. Автоматизация решения системных задач. -М.: Радио и Связь, 1990. 540с.

46. Коменский, Я.А. и др. Педагогическое наследие М.: Педагогика, 1989.-411 с.

47. Концепция создания и развития единой системы дистанционного образования в России. / Министерство образования РФ. Гос № 431384983.

48. Коршунов Ю.М. Математические основы кибернетики. М.: Энергия, 1980.-424с.

49. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982.-432 с.

50. Креативная педагогика: методология, теория практика / Под. ред. Круглова Ю.Г. М.:МГОПУ им. М.А.Шолохова, изд. центр «Альфа», 2002. 240 с.

51. Кудрявцев Н.М. Исследование операций в задачах, алгоритмах и программах. М-: Радио и Связь, 1985. -184с.

52. Кузин Л .Т. Основы кибернетики : В 2-х т.; т. 2 . Основы кибернетических моделей. Учебное пособие для вузов. М.: Энергия, 1979,1991 .-584с.

53. Кузьмина Н.В. Основы вузовской педагогики. Л.: ЛГУ, 1973, -256 с.

54. Кухтенко А.И. Об аксиоматическом построении математической теории систем //Кибернетика и вычислительная техника. Киев: Наукова думка. 1976. - с. 3-25.

55. Кухтенко А.И. Систем общая теория / Энциклопедия кибернетики. Том 2. Киев: Главная редакция УСЭ, 1974. - 33 5-339с.

56. Лакофф Д. Когнитивная семантика. В кн.: Язык и интеллект. Сб.: Пер. с англ. и нем. /Сост. и вступ. ст. В.В. Петрова.- М.: Прогресс, 1995.-416с.

57. Литвак Б.Г. Разработка управленческого решения: Учебник. 5-е изд., испр. и доп. М.: Дело, 2004. - 416с.

58. Литвак Б.Г. Экспертные оценки и принятие решений. — М.: Патен, 1996-271 с.

59. Литвак Б.Г. Экспертные технологии в управлении: Учеб. Пособие. 2-е изд., испр. и доп. М.: Дело, 2004. 398с.

60. Лукичев Г.А. Проблемы присоединения к Болонской декларации // Вестник РОСРО. Вып. 8. - с. 56-62.

61. Мартынова Т.Л. Система поддержки процесса формирования интеллектуальных умений в области практической информатики: Диссертация канд. техн. наук. Москва, 1999г.

62. Мельников Г.П. Системология и языковые аспекты кибернетики — М.: Сов. радио, 1978. 368 с.

63. Месарович М., Мако Д., Такахара Я. Теория иерархических многоуровневых систем. М.: Мир, 1973. - 344с.

64. Месарович М., Такахара Я. Общая теория систем: математические основы. М: Мир, 1978. -312с.

65. Могилевский В.Д. Основы теории систем. Часть 1: Проблемы формализации динамических систем: Уч. Пособие.- М.: РИО МГИ-РЭА(ТУ),1997. -76с.

66. Моисеев Н.М. Математика ставит эксперимент — М.: Наука, гл. ред. ФМЛ, 1979 г.-223 с.

67. Моисеев H.H. Математические задачи системного анализа. М.: Наука, 1981.-488с.

68. Мюллер И. Эвристические методы в инженерных разработках: Пер. с нем. М.: Радио и Связь, 1984. -142с.

69. Научные проблемы тестового контроля знаний. /Тезисы докладов школы-семинара. — М.: Исследовательский центр, 1994. 26 с.

70. Нейман Дж. фон, Моргенштерн О. Теория игр и экономическое поведение / Пер. с англ. М: Наука, 1970.

71. Нечаев B.B. Введение в теорию метамоделирования систем. М.: Информациология, 1997. - 64с.

72. Нечаев В.В. Концептуальное метамоделирование структур. -М.: Информация, 1997. -52с.

73. Нечаев В.В. Творческая задача и интеллектуальный решатель: концептуальный подход. / Межв. сб. науч. трудов «Модели и системы представления знаний». М.: МИРЭА, 1990, с. 53-68.

74. Нечаев В.В., Панченко В.М., Свиридов А.П. Исследование операций и теория систем. Основы статистической динамики знаний // Учебное пособие. М.: МИРЭА, 2000, - 83 с.

75. Новиков Д.А., Чхартишвилли А.Г. Рефлексивные игры. Серия «Управление организационными системами». М: СИНТЕГ, 2003, 160 с.

76. Норенков И.П., Зимин A.M. Информационные технологии в образовании. М.: Изд-во МГТУ им. Н.Э.Баумана, 2004. - 352 с.

77. Орешко H.A. Анализ возможностей использования существующих методов представления знаний / Межвуз. сб. науч. трудов «Модели и системы представления знаний». -М.: МИРЭА, 1990, с. 69-81.

78. Основы кибернетики. Математические основы кибернетики / Под. ред. ПупковаК.А. М.: Высш. шк., 1974.

79. Основы кибернетики. Теория кибернетических систем / Под. ред. Пупкова К.А. М.: Высш. шк.,1976. - 408 с.

80. Оуэн Г. Теория игр. М.: Мир, 1971.

81. Панченко В. М. Теория систем. Методологические основы: Учебное пособие. /Московский государственный институт радиотехники, электроники и автоматики (технический университет) М., 2003. -96с.

82. Панченко В.М. Системный анализ. Метод имитационного моделирования. М.: МИРЭА, 1995. -120с.

83. Панченко В.М. Теория систем: задачи и примеры. Учебное пособие. Часть 1.- М.: РИО МГИРЭА(ТУ), 1999.- 80с.

84. Петров В.М., Яблонский А.И. Математика и социальные процессы. / Гиперболическое распределение и их применение. М.: Знание, 1980. -64 с.

85. Поддубная JI.M. Татур А.О., Челышкова М.Б. Задание в тестовой форме для автоматизированного контроля знаний студентов. /Учебное пособие. — М.: Исследовательский центр, 1995. 80с.

86. Поиск новых идей: от озарения к технологии. (Теория практики решения изобретательских задач). /Г.С. Альтшуллер, Б.Л. Злотин, А.В. Зусман, В.Ф. Филатов. Кишинев.: Изд-во «Картя Молдовеняске», 1989.

87. Пономарев Я.А. Психология творчества и педагогика. М.: Педагогика, 1976.

88. Попов И.И., Храмцов П.Б. Мировые информационные ресурсы и сети (методы доступа к ним): учебник / Под общ. ред. К.И. Курбакова. -М.: Изд. Рос. экон. акад., 1999. 145 с.

89. Поспелов Д.А. Логико-лингвистические модели в системах управления. М.: Энергоиздат, 1981.

90. Поток научной информации // Энциклопедия кибернетики. Киев: Гл. Ред. Укр. Сов. Энциклопедии, 1975; Т. 1-608с.; Т.2-622с.

91. Прикладные нечеткие системы / Пер. с японского под ред. Т. Тэрано, К. Асаи, М. Сугено. М: Мир, 1993.-368 с.

92. ПРОБЛЕМЫ КАЧЕСТВА ОБРАЗОВАНИЯ. Книга 5. Управление качеством образования // Материалы XIV Всероссийского совещания М.; Уфа: Исследовательский центр проблем качества подготовки специалистов, 2004. — 78 с.

93. ПРОБЛЕМЫ КАЧЕСТВА ОБРАЗОВАНИЯ. Книга 6. ОБЩИЕ ПРОБЛЕМЫ КАЧЕСТВА ОБРАЗОВАНИЯ // Материалы XIV Всероссийского совещания М.; Уфа: Исследовательский центр проблем качества подготовки специалистов, 2004. — 68 с.

94. Пфанцагль И. Теория измерений: пер. с англ. М.: Мир, 1976. -248с.

95. Радионов Б.У., Татур А.О. Стандарты и тесты в образовании М.: Исследовательский центр, 1995 - 48с.

96. Сборник документов, касающихся международных аспектов высшего образования / Сост. Е.В. Шевченко. СПб., 2000.

97. Свиридов А.П. Основы статистической теории обучения и контроля знаний. Методическое пособие. М.: Высш. Школа, 1981. - 262с.

98. Свиридов А.П. Условные и безусловные алгоритмы диагностического контроля подготовки операторов ЭВМ. М.: МЭИ, 1987 г. 68 с.

99. Свиридов А.П., Шалобина И.А. Сетевые модели динамики знаний / Под ред. Ю.Н. Мельникова. М.: МЭИ, 1992.

100. Селезнёва H.A. Автоматизация проектирования систем управления качеством высшего образования. /Диссертация на соискание учёной степени доктора технических наук в форме научного доклада Воронеж: ВПИ, 1992. - 36с.

101. Селезнева H.A. КАЧЕСТВО ВЫСШЕГО ОБРАЗОВАНИЯ КАК ОБЪЕКТ СИСТЕМНОГО ИССЛЕДОВАНИЯ. Лекция-доклад. Изд. 3-е. М.: Исследовательский центр проблем качества подготовки специалистов, 2003. - 95 с.

102. Сигорский В.П. Математический аппарат инженера. Киев: Техника, 1977. - 766с.

103. Системный анализ и принятие решений: Словарь-справочник: Уч. пособие для вузов /Под ред. В.Н. Волковой, В.Н. Козлова. М.: Высш. шк., 2004. - с.575-585.

104. Советский энциклопедический словарь /Гл. Редакция А. М. Прохоров Изд. 4-е М.: Сов. Энциклопедия, 1987.-1600с.

105. Создание системы открытого образования /Министерство образования РФ. Приказ от 12.10.2000 № 2925.

106. Соломатин H.M. Информационные семантические системы. М.: Высшая школа, 1989. - 128с.

107. Солсо Р.П. Когнитивная психология.: Пер. с англ. М.: Тривола, 1996. - 600с.

108. Станкевич JI.A. Интеллектуальные технологии и представление знаний. Интеллектуальные системы. СПб.: Изд-во СПбГТУ, 2000.

109. Степанов Ю.С. Семиотика. М.: Наука, 1971. -145с.

110. Столяров A.M. Методологические основы изобретательного творчества. М.: ВНИИПИД986.

111. Субетто А.И. Системогенетика и теория циклов. В 2-х ч. СПб.-М.: Исследовательский центр проблем качества подготовки специалистов, 1994 г. - 243+260 с.

112. Субетто А.И. Системологические основы образовательных систем -М.: Исследовательский центр, 1994. Часть 1 284с. Часть 2 - 290с.

113. Талызина Н.Ф. Управление процессом усвоения знаний (психологические основы).-М.: МГУ, 1984. 344с.

114. Татур Ю.Г. Компетентность в структуре модели качества подготовки специалиста // Высшее образование сегодня. 2004. - № 3.

115. Техническое творчество: теория, методология, практика. Энцеклопе-дический словарь-справочник / Под ред. А.И.Половинкина, В.В.Попова.: НПО «Информ-система», 1995.

116. Технологии ActiveX и OLE / Пер. с англ. — М.: Издательский отдел "Русская редакция" ТОО "Channel Trading Ltd.", 1997. — 320 е.: ил.

117. Тихомирова С.Н., Сербинов К.А., Шорохов М.И. Электронная зачетная книжка при идентификации в эмпирических системах поддержки учебного процесса // 53 НТК МИРЭА: сб. тр. 4.4. / МИРЭА М., 2004. - с.82-85.

118. Труды Третьего Симпозиума «Квалиметрия труда и образования: методология и практика» в 4-х частях. (Москва, сентябрь 1994г.). /Под.ред. Селезневой H.A. и Субетто А.И. М.: Исследовательский центр, 1994.

119. Харари Ф. Теория графов: Пер. с англ. М.: Мир, 1973.-300с.

120. Челышкова М.Б. , Савельев Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе. М.: Исследовательский центр 1995. -77с.

121. Челышкова М.Б. Организация контроля знаний студентов условиях педагогического сотрудничества. /Диссертация на соискание ученой степени к. пед. н. Киев: ЮГУ, 1990. - 190с.

122. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей. /Учебное пособие. М.: Исследовательский центр, 1995. - 50с.

123. Шадриков В.Д. Новая модель специалиста: инновационная подготовка и компетентностный подход // Высшее образование сегодня. -2004.- №8.

124. Шеннон Р. Имитационное моделирование систем искусство и наука. - М.: Мир, 1978. -418с.

125. Шорохов М.И. Система автоматизации процесса тестирования знаний. «Тест» Отр. Фонд алгоритмов и программ. Свид. № 3183 от 17.02.2004.

126. Шорохов М.И. Системный подход к исследованию применения ретроспективной, текущей и экспертной информации для идентификации обучаемых. // Сб. науч. тр. межд. НТК "Информационные технологии в управлении". М.:"Слово", 2003. - стр. 51-54.

127. Шорохов М.И. Системный подход к исследованию применения ретроспективной, текущей и экспертной информации для идентификации обучаемых. // Сб. науч. тр. МНТК "Информационные технологии в управлении". М.:"Слово", 2003. - с. 51-54.

128. Шорохов М.И., Кузнецов Д.Е., Панченко В.М. О возможности применения гиперболического закона распределения к базовым оценкам обучаемых // 53 НТК МИРЭА: сб. тр. 4.4. / МИРЭА М., 2004. - с.90-93.

129. Шорохов М.И., Панченко В.М. Критерии, модели и оценки эффективности решения задач жизненного цикла обучения в ВУЗе //52 НТК МИРЭА. Сб. тр. 4.1. / МИРЭА М., 2003. - с.74-78

130. Шорохов М.И., Панченко В.М. Модель базовой оценки обучаемого на уровне формирования общей задачи оптимизации // 53 НТК МИРЭА. Сборник трудов. 4.4. / МИРЭА М., 2004. - с.85-89.

131. Экспериментальная система оценки качества обучения по учебным дисциплинам специальности (для специальности 11.04). /Под. ред. Моргунова И.Б. и Нерсесова Т.В. М.: МИСиС Исследовательский центр, 1993. 4.1 - 193с.; 4.2 - 184с.

132. Эшби У.Р. Введение в кибернетику М.: И.Л., 1959. -432с.

133. Яблонский А.И. Стохастические модели научной деятельности // Системные исследования. Ежегодник, 1975. -М.: 1976, с. 5-42.

134. Boettcher, J. (1999). 21st century teaching and learning patterns: What will we see? Syllabus, 12.10, 18-24.

135. Boettcher, J. (1999). The shift from a teaching to a learning paradigm. Syllabus, 13.1,50-51.

136. Edwards W. Behavioral Decision Theory // Ann. Rev. Psyhol, №12, 1961 -p. 473-498.

137. Gallagher J.C., Perretta S., Drushel R.F. Teaching Autonomous Robotics over the World Wide Web: an Online Computer Engineering Practicum -IMEJ journal, 2002 http://imej.wfu.edU/articles/2002/2/03/index.asp .

138. IEEE P1484.1/D9, 2001-11-30. Draft Standard for Learning Technology Systems Architecture (LTSA). http://ltsc.ieee.org/wgl/index.html.

139. IMS Guidelines for Developing Accessible Learning Applications. Version 6.-IMS, 2001.150. Nogin V.D. Upper estimate for a fuzzy set of non dominated solutions

140. Fuzzy set and systems, 1994, v. 67, p. 303-305.