Внутривузовская диагностика качества обучения на основе автоматизированной экспертной системы тема диссертации и автореферата по ВАК РФ 13.00.01, кандидат педагогических наук Левина, Елена Юрьевна

• Левина, Елена Юрьевна
• кандидат педагогических наук
• 2008

Оглавление диссертации кандидат педагогических наук Левина, Елена Юрьевна

Введение.

Глава 1. Теоретические и методологические проблемы, диагностики качества обучения

1.1. Международные и российские концепции управления качеством высшего профессионального образования.

1.2. Методы оценки качества обучения в высшей школе.

1.3. Квалиметрический анализ данных внутривузовского мониторинга для оценки качества обучения.

1.4. Разработка структуры экспертной системы для решения задач диагностики качества обучения.

Выводы по главе 1.

Глава 2. Разработка и реализация системы квалиметрических методов для внутривузовской диагностики качества обучения.

2.1. Праксеологические аспекты разработки системы диагностики качества обучения в высшей школе на основе методов математической статистики.

2.2. Анализ данных педагогического мониторинга методами математического моделирования.

2.3. Применение планов выборочного контроля знаний в системе тестирования для оценки уровня знаний студентов.

2.4. Эмпирическая интерпретация статистических законов распределения в исследовании результатов тестирования.

Выводы по главе 2.

Введение диссертации (часть автореферата) на тему «Внутривузовская диагностика качества обучения на основе автоматизированной экспертной системы»

Актуальность исследования. За последнее десятилетие высшее профессиональное образование в России приобрело широкомасштабный характер, в связи с чем остро встал вопрос об обеспечении качества обучения. Качество обучения как научно-теоретическая проблема включает в себя экономические, социальные, познавательные, культурные аспекты образования и является интегральной характеристикой образовательной деятельности и ее результатов. Для предоставления гарантий качества во всех сферах деятельности вуза, в соответствии с предъявляемыми требованиями к результату обучения со стороны потребителей необходимо наличие современных систем управления качеством.

Управление развитием образования как приоритетное направление выделяет создание системы внутривузовского мониторинга с охватом всех его объектов и различных измерительных средств, отслеживающей совокупность характеристик педагогических технологий. Ратификация Болонского соглашения, международные требования соответствия общеобразовательному стандарту ISO 9000 и Концепции модернизации российского образования ставят перед системой диагностики учебного процесса в высших учебных заведениях проблему выработки таких показателей (индикаторов) качества, которые отражали бы не только достигнутый уровень знаний обучаемых, но и параметры использования технологий обучения и контроля.

Информационный поток данных оценки знаний, его множественная структурированность, обусловили необходимость разработки нового аппарата педагогических измерений, который обеспечил бы выявление несоответствий, прогнозирование результатов, оптимизацию задач мониторинга, то есть технологию алгоритма диагностики качества высшего профессионального образования с количественной оценкой полученных результатов на каждом этапе.

Концептуальные основы качества образования сформулированы в правительственных программах, направленных на реформирование образовательной системы и призванных повысить качество и эффективность образования, это: «Концепция модернизации образования России до 2010 г», федеральная целевая программа «Электронная Россия 2002 - 2010 гг.», федеральная целевая программа развития образования на 2006 - 2010 гг.

Методологические подходы к мониторингу высшего образования с охватом всех «объектов мониторинга» и различных измерительных средств разработаны А.И. Субетто, В.В. Чекмаревым в конце 90-х годов в «Концепции мониторинга качества ВПО», где был проведен анализ существующих показателей качества, действующих оценочных систем и существующих статистических систем учета данных мониторинга. Исследование вопросов мониторинга качества учебной деятельности и анализ результатов диагностики знаний осуществляются в работах B.C. Аванесова, С.Е. ТТТитова, А.Ю. Александрова, JI.B. Колясниковой, О.И. Федоршцевой и др.

Последнее десятилетие характеризуется развитием идеи глобальной информатизации, как необходимого признака прогресса, применение информационных технологий в педагогическом процессе для решения задач оптимизации и повышения эффективности образовательного процесса проводилось Ю.К. Бабанским, В.П. Беспалько, Г.В. Ившиной, B.C. Ильиным, Г.И. Кириловой, В.В. Краевским, Е.И. Машбиц.

Однако, несмотря на наличие научных работ по проблемам мониторинга, диагностики качества обучения и использования информационных средств в этой области, результативный и стандартизированный механизм измерения и оценки качества обучения, в том числе, образовательных программ, методов и результатов обучения недостаточно разработан в российской системе образования. Отсутствие объективных норм уровня образовательной деятельности приводит к тому, что существующая оценка качества объектов образовательной системы представляет собой недостаточный индикатор для принятия соответствующих управленческих решений. Кроме того, слабо отражены возможности использования информационно-технических средств и математических методов в работе систем управления качеством образовательной деятельности. Корректная оценка качественных показателей и их анализ возможны лишь на основе квалиметрического подхода, который позволит от нечетких и зачастую субъективных оценок перейти к математически обоснованным, объективным выводам.

Таким образом, анализ научной литературы-, и результатов теоретических исследований; позволил выявить противоречия:

- между необходимостью обеспечения гарантированного вузом качества обучения и неэффективностью совокупности применяемых методов диагностики и оценки качества образовательного процесса.

- между качественным характером оценивания и необходимостью измерения количественных показателей качества обучения для привлечения объективных математических методов обработки и анализа данных. ■•'./■•

Выявленные противоречия обусловили проблему исследования: каковы научная основа и система диагностики качества обучения на основе информационных средств и математических методов.

Цель исследования заключается в разработке внутривузовской системы диагностики качества обучения на основе информационных средств и математических методов.

Объект исследования: диагностика качества учебного процесса в вузе.

Предмет исследования: структурно-функциональная модель внутривузовской диагностики качества обучения на основе информационных и математических методов.

В основу исследования положена гипотеза: качество профессионального обучения в вузе может быть повышено значительно, если при организации внутривузовской диагностики качества обучения на основе автоматизированной экспертной системы будут системно реализованы функции:

- сбора данных текущего и итогового контроля знаний и их хранения в базе данных;

- управления базами данных для осуществления процедур исследования и анализа статистики результатов учебного процесса;

- определения значимых показателей качества обучения, отражающих уровень усвоенных знаний и параметры преподавания учебной дисциплины;

- оценивания показателей качества обучения в соответствии с системой математических методов;

- выработки рекомендаций для принятия управленческих решений по обеспечению качества образования.

В соответствии с целью исследования и гипотезой были выдвинуты следующие задачи:

1) Провести анализ состояния теории, практики и проблем диагностики качества обучения в вузе;

2) Разработать концепцию системы диагностики качества обучения в вузе на основе автоматизированной экспертной системы;

3) Теоретически разработать и практически реализовать индикативные показатели качества обучения и методы их оценки;

4) Экспериментально показать эффективность разработки методов внутривузовской диагностики качества обучения.

Теоретико-методологическую основу исследования составили работы отечественных и зарубежных авторов, касающиеся вопросов оценки качества обучения, мониторинга образования, квалиметрических и математических методов диагностики качества образовательной деятельности вуза.

Переход к мировым стандартам качества образования (ISO 9000) инициировал разработку положений методологической базы системы управления качества обучения в вузе (В.В. Бойцов, A.B. Гличев, A.A. Азгальдов, В.Я. Белобрагин, Г.В. Мухаметзянова, Н.И. Селезнева и др.). Процесс обучения перечисленными авторами рассматривается как технология, включающая в себя приемы его оптимизации и управляемости для повышения его эффективности (В.П. Беспалько, Н.Ф. Талызина).

Особенности применения методов математической статистики в педагогических исследованиях и способов педагогических измерений и диагностики рассматривалась в работах B.C. Аванесова, А.И. Орлова, И. Д. Рудинского и др.

Инновационный подход к организации информационных ресурсов и технологий поддержки учебного процесса применен в работах В.П. Беспалько, Г.И. Ибрагимова, Г.К. Селевко, В.И. Солдаткина, М.А. Чошанова.

Современные исследования в области математического моделирования тестирования знаний и выявления реального уровня обученности студентов представлены в исследованиях В.Б. Моисеева, Л.Г. Пятирублевого, KP. Таранцевой, С.Д. Ионе, Н.И Лимановой, И.Н. Павловой, A.B. Одинокова и др.

Для решения поставленных задач использовались следующие методы исследования: системный анализ психолого-педагогической литературы, учебно-программной документации; моделирование и дидактическое тестирование; наблюдение; анализ результатов самостоятельных, проектно-конструктивных работ студентов, итоги сдачи экзаменов; проверка остаточных знаний; методы анализа педагогических явлений и статистической обработки экспериментальных педагогических данных; методика организации баз данных контроля знаний; методика выборочного контроля качества; численные методы математического моделирования и способы имитационного моделирования на ЭВМ.

Экспериментальной базой послужили статистические и оперативные данные текущего и итогового контроля знаний студентов вузов различного профиля: ТГГПУ (Татарский государственный гуманитарный педагогический университет), РГТУ (Российский государственный гуманитарный университет), КГТУ (Казанский государственный технический университет), КГТУ (Казанский государственный технологический университет), КГУ (Казанский государственный университет), КГЭУ (Казанский государственный энергетический' университет).

Этапы исследования.

Первый этап (2003-2005гг.) - поисковый и диагностический. Изучались вопросы диагностики и оценивания качества обучения, проблемы модернизации качества высшего профессионального образования, сложившаяся практика проведения внутривузовского мониторинга, квалиметрические подходы к оценке качества обучения, определялись и уточнялись возможные показатели качества образовательной деятельности, осуществлялось накопление экспериментальных данных.

Второй этап (2005-2006гг.) — разработка теоретической базы, квалиметрического аппарата, адаптация математических методов для организации внутривузовской диагностики качества обучения на базе автоматизированной экспертной системы.

Третий этап (2006-2008гг.) - создание целостной системы диагностики качества обучения для решения некоторых задач оценки и повышения качества образовательной деятельности преподавателей и студентов. Произведена апробация, экспериментальное внедрение и обобщение результатов исследования.

Научная новизна исследования состоит в том, что:

Определена роль и обозначено место внутривузовской автоматизированной системы диагностики качества обучения в управлении качеством образования в вузе, как средства обнаружения дефектов образовательной деятельности в вузе, осуществляющее стандартизацию качества обучения посредством мониторинга образовательного процесса и анализа признаков, характеризующих наличие отклонений в обучении.

Разработан способ реализации индикативных критериев качества обучения основанного на данных статистического наблюдения, оценки образовательных достижений, обработки результатов контроля знаний посредством совокупности методов математической статистики и математического моделирования, подтверждающих возможность количественного оценивания качества образовательной деятельности в вузе. Предложена система внутривузовской диагностики качества обучения на базе средства искусственного интеллекта -автоматизированной экспертной системы, отличающейся достоверностью оценок и высоким уровнем оперативности контроля, результаты работы которой с данными" образовательных достижений студентов вуза обеспечивают основу для принятия объективных управленческих решений по совершенствованию образовательной деятельности, реализации педагогических технологий обучения.

Теоретическая значимость исследования состоит в теоретическом обосновании технологии функционирования системы диагностики качества обучения в вузе на основе квалиметрического подхода и информационного обеспечения, включающей: сбор и хранение данных о процессе обучения; расчет показателей качества; методы анализа индикаторов качества для выявления недостатков процесса обучения; оценку педагогических условий учебного процесса адаптированными методами математической статистики; формирование диагностического заключения для организационно-управленческих структур вуза по повышению качества образовательной деятельности преподавателей и студентов в вузе.

Практическая значимость исследования заключается в том, что создана диагностика качества обучения на основе автоматизированной экспертной системы, осуществляющая информирование организационно-управленческих структур вуза о качестве обучения. Оценка качества ведется на основе расчета индикативных показателей качества (дескриптивных статистик), рассчитанных по результатам контроля знаний в студенческих группах.

Данная гибкая информационная система диагностики качества обучения также предназначена для оценки применения педагогических технологий в образовании, самооценки и самокоррекции преподавательской деятельности, проверки эффективности внедрения новых методов и средств обучения, выявления уровня усвоения учебных дисциплин, аттестации преподавателей, для дальнейших исследовательских и практических работ в области управления сферой высшего образования. Созданная автоматизированная система диагностики качества отвечает принципу минимакса, имеет открытый характер, позволяет вводить дополнительные параметры измерений и математический инструментарий. Элементы представленной системы диагностики качества образовательной деятельности реализованы в ряде вузов и могут быть использованы в корпоративной информационной системе вуза.

На защиту выносятся:

1) Концепция создания системы диагностики качества обучения в вузе, включающей в себя аналитические и квалиметрические методы оценки.

2) Система внутривузовской диагностики качества обучения на основе автоматизированной экспертной системы. ,

3) Индикативные показатели качества обучения и методы их оценки, позволяющие автоматизировать и объективизировать диагностику качества обучения в целях педагогического управления.

Достоверность и обоснованность результатов исследования обеспечиваются соответствующим методологическим подходом к решению данной проблемы, изучением научной литературы и нормативных актов, репрезентативностью выборки экспериментальных данных и их статистической обработкой, использованием методов педагогической квалиметрии, i математической статистики, математического моделирования для оценивания качества педагогических процессов, количественным и качественным анализом результатов эксперимента, личным опытом работы автора в должности преподавателя вуза.

Апробация и внедрение результатов исследования.

Основные положения и выводы были доложены в семнадцати публикациях и получили одобрение на международных, всероссийских и региональных н научных конференциях и семинарах: Международной научно-методической конференции «Инновационное образование в техническом университете», 2004 г.; Международной конференции «Математические методы в технике и технологиях», 2005 г.; Региональной научно-практической конференции «Инновации в обучении и образовании», 2005 г., Международной научно-методической конференции «Управление качеством профессионального образования: от проблемы к системе», 2005 г.; Всероссийской научно-практической конференции профессорско-преподавательского состава РГГУ, 2006г.; Международной научно-практической конференции «Информационные технологии в образовании и науке», 2007г.; Региональной научно-практической конференции «Предпринимательство в туризме и социально-культурной сфере», 2008 г.

Результаты диссертационного исследования внедрены в Казанском ' государственном техническом университете им. А.Н. Туполева и в Казанском государственном энергетическом университете.

Структура диссертации.

Работа состоит из введения, двух глав, содержащих 8 параграфов, заключения, содержащего выводы исследования, списка литературы, включающего 166 наименований и 8 приложений. Основное содержание работы изложено на 160 страницах машинописного текста, содержит 12 схем, 14 таблиц, 18 формул, 86 рисунков.

Заключение диссертации по теме «Общая педагогика, история педагогики и образования», Левина, Елена Юрьевна

Выводы по главе 2

1. Проведено исследование экспериментальных данных педагогических измерений, представляющих собой результаты текущего и итогового контроля знаний студентов вузов различного профиля (около 3000 наборов ведомостей контроля) с позиций математической статистики для выявления статистических закономерностей для нахождения критериев отлаженности учебного процесса. Оценены вычисленные дескриптивные статистические величины для каждого набора оценок (ведомости), и определены интервалы значений, исследованы редко встречающиеся сочетания значений статистических параметров.

2. Разработан комплекс индикативных показателей качества обучения, представляющих собой дескриптивные статистические показатели (средний балл, среднеквадратическое отклонение, коэффициенты асимметрии и эксцесса), показано, что комплексный анализ статистических параметров можно использовать как характеристики уровней знаний студенческих групп для оценки отлаженности учебного процесса.

2. Произведена проверка экспериментальных данных педагогических измерений (3000 значений) по критерию «трех сигм», измеренные значения х, выходящие за пределы трех сигм, дополнительно изучены. Показано, что причинами указанных отклонений являются сочетания обстоятельств, достаточно нетипичных для учебного процесса, например, повторная сдача экзамена, нетрудный материал в виде задач, использующийся при составлении заданий для автоматического тестирования и т.п. Полученный индикатор (степень отклонения результатов статистической обработки от стандартных результатов) использован в алгоритме экспертной системы как показатель, сигнализирующий о необходимости обратить внимание на аномальность количественных значений регистрируемых мониторингом параметров учебного процесса и исследовать подробно его качественные характеристики.

3. Произведена проверка экспериментальных данных педагогических измерений (3000 значений) по адаптированному к педагогическим измерениям методу моментов. Выявлено, что если результаты расчетов отклоняются от вычисленных типичных параметров распределения, то это соответствует, ситуациям нетипичным в образовательной деятельности, например, использованием невалидных тестов, некорректно составленным вопросам к экзаменационным билетам, низкой посещаемости студенческой группой занятий, то есть, ситуациям, требующим корректировки технологии обучения и контроля.

4. Введены в автоматизированную экспертную систему, как решающие правила диагностики качества обучения, индикативные показатели (дескриптивные статистики вычисленные для наборов экзаменационных баллов в группе) и статистические методы их оценивания («метод моментов» и «метод трех сигм»), то есть, предложены квалиметрические методы, позволяющие оценить результаты контроля с точки зрения диагностики качества обучения, для корректировки процессов обучения и контроля.

5. Проверена гипотеза о возможности использования показателей и методов математической статистики для зафиксированных документально уровней успеваемости в студенческих группах. Получено количественное и качественное согласие осредненных расчетных и экспериментальных данных по критерию согласия «хи-квадрат» (Пирсона) для выдвинутой гипотезы о законах распределения данных и присутствия в них биномиальной и гипергеометрической составляющей, а следовательно, и возможности использования предложенных методов (метода «трех сигм» и метода моментов) к педагогическим измерениям.

6. Проведено исследование устойчивости данных педагогических измерений (статистических параметров распределений баллов студенческих групп). Оценены возможные разбросы данных методами математического моделирования, показано, что разброс данных контроля в группе студентов не является случайным, изменение хотя бы одной оценки ведет к качественным изменениям статистических параметров, что свидетельствует об устойчивости, иллюстрирующей чувствительность уровней данных, регистрируемых педагогами, к условиям проведения испытаний.

7. Проведена адаптация к условиям автоматизированного тестирования в вузе теоретических основ планов контроля качества утвержденных в государственных стандартах и используемых в промышленности. Разработано несколько программных средств, реализующих стандартную методику планов выборочного и последовательного контроля качества и осуществляющую расчет рисков выставления ошибочных оценок в процессе оценки знаний. Применение (проведено более 5000 испытаний) разработанного программного блока в учебном процессе показало, что более чем в 75% случаев, удается сократить процедуру проверки уровней усвоения материала в два раза и более.

8. Проведено исследование результатов тестирования ЕГЭ с использованием выявленных статистических закономерностей и построенных математических моделей распределения знаний в группах обучаемых для фильтрации случайных факторов (угаданных ответов). Получено ранжирование дисциплин по выраженности элементов знания, умения и творческих навыков в итоговых оценках, а также по степени валидности экзаменационных тестов ЕГЭ.

ЗАКЛЮЧЕНИЕ

Исследованиями педагогических явлений, анализом значительного объема экспериментальных данных об уровне обученности в группах студентов, как в совокупности субъектов подвергаемых единому преобразованию посредством обучения, расчетными исследованиями с использованием методов квалиметрии, математической статистики и математического моделирования решены следующие педагогические задачи:

1) Осуществлен анализ современных тенденций в области высшего профессионального образования о распространении методов и средств международных стандартов качества международного стандарта ISO 9000 и системы качества TQM, применявшихся в сфере управления качеством на производстве, в систему управления качеством образования. Данный курс имеет рыночную направленность, ориентированную на повышение конкурентоспособности российских вузов и инициирует поиск и устранение слабых мест в образовательной деятельности вуза. Ориентированность на доступность образования активизировала открытие многих коммерческих вузов и новых направлений обучения в государственных вузах, где процесс образовательной деятельности еще не отлажен и не гарантирует наличие необходимого качества образования.

Необходимость создания современных систем управления качеством в вузе показана во многих публикациях. Функции управления качеством включают в себя установление стратегии управления, обеспечение регулировки качества, мониторинг качества образования, который осуществляется регулярным наблюдением за качеством деятельности вуза в течение определенного интервала времени по одинаковой системе показателей и методике. Поставлена проблема создания системы оценки качества обучения, входящей в систему управления, транспарентной стандартам и экспериментальное доказательство ее состоятельности и адекватности.

2) Рассмотрены и проанализированы существующие методы оценки качества обучения. Показана необходимость наличия такой оперативной информации для решения задач диагностики качества обучения, которая отражала бы результаты педагогической деятельности, позволила реально осуществить анализ сведений об образовательной деятельности вуза с использованием квалиметрического количественного подхода объективизирующего и автоматизирующего процесс диагностики качества обучения.

Сложность при разработке индикаторов (показателей) качества обучения заключается в том, что не существует определения эффективности или неэффективности процесса обучения, а имеются только показатели условий осуществления образовательной деятельности, результата достижения уровня образования и трудоустройства, во многом подверженные различным факторам. Сформирована задача по созданию гибких систем диагностики учебного процесса, отличающихся наивысшим (высоким) уровнем оперативности и технологичностью контроля, позволяющих оценить с высокою степенью достоверности деятельность субъектов образовательного процесса - преподавателей и студентов. Показана необходимость инструмента, позволяющего наблюдать и анализировать ход происходящих изменений, прогнозирующего тенденции и перспективы учебной деятельности, последствия корректирующих воздействий и избавляющего от рутинной работы по обработке информации.

3) Выбраны параметры системы диагностики качества обучения на основе показателей статистической обработки документально зафиксированных результатов обучения в студенческих группах, как совокупности студентов, которым предоставлен один и тот лее набор составляющих процесс обучения технологий. Ключевым фактором современных педагогических технологий, совокупности и последовательности методов и процессов преобразования с заданными параметрами и свойствами является сам факт достижения конечного результата и контроль точности его достижения. В образовательной деятельности, оценка итогового контроля знаний, несмотря на некоторую субъективность, является отображением освоения учащимися знаний, умений и навыков, показателем обратной связи с обучаемыми имеющим числовое выражение, заключающееся в количестве набранных студентами баллов при любом виде итогового контроля. Показано, что анализ уровня усвоения знаний в студенческих группах, как некоторой в некоторой совокупности элементов системы, где каждому из них предоставлялись одни и те же процедуры обучения и контроля, способствует оценке самого процесса обучения, классификации преподавателя, отлаженности технологии обучения и контроля знаний в целом.

4) Предложена концепция внутривузовской системы диагностики качества обучения, включающая в себя:

1. Оценку показателей подготовки и проведения образовательного процесса;

2. Выбор и определение значений базовых показателей качества обучения на основе выбора базовых образцов процесса;

3. Определение значений единичных показателей качества на основе данных испытаний измерений и при необходимости, расчетов;

4. Выбор метода оценки качества процесса исходя из возможностей математики с учетом применения информационной технологии;

5. Оценку достигнутого качества образовательной деятельности и принятие управленческого решения.

5) Осуществлен сбор и хранение экспериментальных данных для решения задачи создания системы диагностики качества обучения - степень обученности учащихся, основанная на статистике оценок, полученных при текущем или итоговом, контроле, использованы результаты достижения уровней знаний в студенческих группах вузов различного профиля (ТГГПУ (Татарский государственный гуманитарный педагогический университет), РГГУ (Российский государственный гуманитарный университет), КГТУ (Казанский государственный технический университет), КГТУ (Казанский государственный технологический университет), КГУ (Казанский государственный университет), КГЭУ (Казанский государственный энергетический университет)) по дисциплинам технических, инженерных, математических, педагогических, экономических и гуманитарных специальностей.

Создана база данных (БД) для оптимизации хранения, сортировки и анализа экспериментальных данных обеспечивающая группировку экспериментальных данных по любому параметру. Разработана специально организованная структура и соответствующая система управления базой данных (СУБД), которая выполнена в открытой, доступной для любых видоизменений форме в оболочке MS Excel с использованием языка VBA, для осуществления специфических математических операций. Составляющие БД результаты контроля знаний и алгоритмы расчета использованы в настоящей работе для получения типовых характеристик, разработки математических моделей и исследования статистики результатов учебного процесса.

6) Разработана автоматизированная экспертная система, ввиду большого разнообразия и изменчивости массивов данных, поступающих, в процессе мониторинга и требующих оперативного анализа для компьютерной поддержки системы диагностики качества обучения.

Данное средство, с элементами искусственного интеллекта, выбрано исходя из основной задачи мониторинга - непрерывной интерпретации данных в реальном масштабе времени, сигнализация о выходе тех или иных параметров за допустимые пределы и выдача возможных причин таких отклонений. В качестве решающих правил ЭС использованы методы математической статистики, а подсистема объяснений включает в себя знания специалистов-экспертов. По мере того, как в базу данных вкладывается все больше фактического материала и знаний опытных специалистов, создаются предпосылки для более тонкой дифференциации педагогических явлений и повышения эффективности управления. При таком подходе программный продукт является гибким инструментом исследований учебного процесса, способным по мере разрешения сложных ситуаций к самообучению в составе функционирующей системы информационной системы вуза.

7) Определен пакет индикативных показателей качества обучения -основные дескриптивные показатели, отражающие специфику распределения знаний в студенческих группах (средний балл, среднеквадратическое отклонение, коэффициенты асимметрии и эксцесса), их использование обосновано количественной мерой неравномерностей в регистрируемых распределениях баллов.

Выявлено, что основная доля экспериментальных данных сосредоточена в определенной области, в несколько раз более узкой по сравнению с теоретически рассчитанными значениями, полученными на математической модели учебного процесса. Этот факт свидетельствует о том, что при формировании распределений баллов в группах действуют определенные ограничения, кривые не являются произвольно изрезанными, т.е. результаты, показываемыми в испытаниях знаний различными студентами, являются с точки зрения статистики взаимозависимыми. Показано, что комплексный анализ статистических параметров можно использовать как индикативные показатели качества, характеризующие наборы оценок студенческих групп, для оценки отлаженное™ учебного процесса.

8) Проведен статистический анализ экспериментальных данных (3000 наборов зафиксированных уровней знаний) по критерию «трех сигм» и адаптированному к педагогическим измерениям методу моментов, измеренные значения показателей качества обучения дополнительно изучены.

Выявлено, что причинами указанных отклонений являются сочетания обстоятельств, достаточно нетипичных для учебного процесса, например, повторная сдача экзамена, нетрудный материал в виде задач, использующийся при составлении заданий для автоматического тестирования, использование невалидных тестов, неотлаженная технология обучения, низкий уровень студентов, то есть, ситуации, требующие корректировки технологии обучения или контроля.

Рассмотрение педагогических условий, при которых соответствующие экстремальные отклонения данных имели место, показало, что степень отклонения результатов статистической обработки от типичных, составляющих около 80% результатов, может быть использована в алгоритме экспертной системы как индикатор, сигнализирующий о необходимости обратить внимание на аномальность количественных значений регистрируемых мониторингом параметров качества обучения и исследовать подробно его качественные характеристики для повышения эффективности образовательной деятельности.

9) Проверена гипотеза о возможности использования показателей и методов математической статистики для педагогических измерений (зафиксированных документально уровней успеваемости в студенческих группах).

Показано методами математического моделирования, что значительный вклад (не менее 50%) в законы распределения исследуемых значений оценок контроля уровня знаний при исследовании массива экспериментальных данных вносят гипергеометрические и биномиальные составляющие, проверка критерием согласия «хи-квадрат» (Пирсона) подтвердило данное положение, получено хорошее количественное и отличное качественное согласие осредненных расчетных и экспериментальных данных, а следовательно, показана возможность использования методов математической статистики (метода «трех сигм» и метода моментов) для экспериментальных данных педагогических измерений.

Проведено исследование устойчивости в распределения оценок в группах студентов, которое показало степень модификации индикативных параметров качества при варьировании на один балл одной или нескольких оценок в экзаменационной ведомости, что позволило сделать следующий вывод - разброс данных контроля в группе студентов не является случайным, изменение хотя бы одной оценки ведет к качественным изменениям статистических параметров, что свидетельствует об устойчивости, и чувствительности уровней' данных, регистрируемых мониторингом, к условиям проведения испытаний, существуют определенные закономерности в их формировании и взаимосвязи в пропорциях. Следовательно, совместное использование метода моментов и метода «трех сигм», как способа оценки г качества обучения, с целью выявления ситуаций требующих дальнейшей проверки экспертами, возможно в качестве решающего правила в экспертной системе.

10) Экспериментально обоснованы и введены в автоматизированную экспертную систему, как решающие правила диагностики качества учебного процесса, индикативные показатели качества образовательной деятельности (дескриптивные показатели, вычисленные для наборов экзаменационных баллов в группе) и статистические методы их оценки («метод моментов» и «метод трех сигм»), то есть, разработаны квалиметрические методы, позволяющие оценить результаты контроля с точки зрения диагностики качества обучения, для корректировки процессов обучения и контроля.

На заданном наборе уровней достоверности строятся интервалы изменений типичных параметров контроля, чтобы, сопоставляя модель с новыми поступающими результатами мониторинга, выявлять несоответствия, анализировать степень и причины расхождений между ожидаемыми и реальными результатами обучения. При этом обнаруживаются ситуации, отличающиеся по существу своими рассчитываемыми характеристиками от ситуаций типичных, и, если это необходимо, выдаются рекомендации для более подобного исследования специалистами-экспертами. По мере того, как в базу вкладывается все больше фактического материала и знаний опытных специалистов, создаются предпосылки для более тонкой дифференциации педагогических явлений и повышения эффективности управления.

11) Произведена оптимизации процедур тестирования знаний обучаемых на базе адаптации теоретических основ планов контроля качества промышленных изделий к условиям автоматизированного тестирования студентов в вузе. На основании достигнутых математическим моделированием результатов об исследовании характера распределений в оценках контроля, возможно использование методов последовательного контроля качества группы объектов, утвержденные в государственных стандартах и используемые в промышленности. Использование последовательного плана выборочного контроля с оценкой риска преподавателя (выставить завышенную оценку) и риска студентов (получить заниженную оценку) в системе тестового контроля проводится впервые. Осуществлено имитационное моделирование планов выборочного контроля, разработано программное обеспечение процедуры тестирования с оценками рисков преподавателя и обучаемого, практика применения которого показала значительное сокращение времени на процедуру тестирования.

12) Разработаны математические модели педагогических контрольных процедур, позволяющие производить коррекцию показателей уровней знаний в студенческих группах и оптимизировать временные затраты. Выявленные статистические закономерности и построенные математические модели распределения знаний в группах студентов применены к результатам компьютерного тестирования в вузе и к результатам проверки знаний на ЕГЭ для фильтрации случайных факторов (угаданных ответов). Получены объективные показатели распределения реальных знаний в исследуемой студенческой группе, исправлен завышенный средний балл при компьютерном тестировании с использованием представленного метода математического моделирования. Исследование результатов тестирования на результатах ЕГЭ с использованием аналогичной модели позволило получить ранжирование дисциплин по выраженности элементов знания, умения и творческих навыков в итоговых оценках, а также оценить валидность тестов.

Таким образом, настоящим исследованием впервые поставлены и решены задачи статистического анализа данных педагогических измерений (текущего и итогового контроля групп студентов), выявлены новые статистические закономерности в педагогических измерениях, разработаны новые квалиметрические методы диагностики качества образовательной деятельности, оценены погрешности в измерительных данных по результатам обучения. Полученные решения введены в алгоритм диагностики качества обучения в вузе на основе автоматизированной экспертной системы для оценки качества образовательной деятельности преподавателей и студентов. Результат работы экспертной системы - диагностическое заключение, рекомендации для организационно-управленческих структур вуза. Применение данного информационного средства позволяет провести внутривузовскую диагностику качества обучения, сократить объемы данных требующих анализа во внутривузовском мониторинге и уменьшить экономические затраты на диагностику качества обучения. Результаты диссертационного исследования внедрены в КГТУ им. А.Н. Туполева и КГЭУ.

Список литературы диссертационного исследования кандидат педагогических наук Левина, Елена Юрьевна, 2008 год

1. Абдуллина О.С. Демократизация образования и подготовки специалистов / О.С. Абдуллина // Высшее образование в России. 1996. - № 1. — С. 73-78.

2. Аванесов B.C. Композиция тестовых заданий: учебное пособие / В. С. Аванесов. — М.: Ассоциация инженеров-педагогов, 1996. — 191с.

3. Аванесов B.C. Математические модели педагогического измерения / B.C. Аванесов. -М.: Бином, 1994. 26с.

4. Аванесов B.C. Научные проблемы тестового контроля знаний: монография / B.C. Аванесов. М.: Исследовательский центр проблем качества подготовки специалистов, 1994. - 135с.

5. Аванесов, B.C. Основы научной организации педагогического контроля в высшей школе / B.C. Аванесов. -М.: Высшая школа, 1989. 128с.

6. Айвазян З.С. Прикладная статистика в задачах и упражнениях: учебник для вузов / З.С. Айвазян, B.C. Мхитарян. М.:ЮНИТИ-ДАНА, 2001,-162с.

7. Айнштейн В.Г. В мире учебных технологий / В.Г. Айнштейн //Высшее образование в России. 1996. - № 2. - С. 122-126.

8. Акматов А. А. Оценка качества образования: обзор международного опыта // Исследование ЕСОК: Международная Стратегическая Группа Экспертов. http://www.edc.in.kg/conferencel/13.doc.

9. Александров В.В. Анализ данных на ЭВМ / В.В. Александров,

10. A.И. Алексеев, Н.Д. Горский. М.: Финансы и статистика, 1990. — 192с.

11. Александров А.Ю. Информационные технологии мониторинга высшего образования / А.Ю. Александров // Конгресс конференций «Информационные технологии в образовании» ИТО-2003: http://www.ito.ru.

12. Анфилатов B.C. Системный анализ в управлении: учебное пособие /

13. B.C. Анфилатов, A.A. Емельянов, А.А Кукушкин // Под ред. A.A. Емельянова. М. : Финансы и статистика, 2002. - 368с.

14. Аргунова К.Д. Взаимодействие признаков в регрессивных моделях / К.Д. Аргунова // Социологические исследования. — 1987. — №2. С. 16-22.

15. Артемов A.B. Модульно-рейтинговая система / А. В. Артемов, И. Н. Павлов, Т. П. Сидорова // Высшее образование в России. 1999. — №4.-С. 121-125.

16. Артемьева Е.Ю. Сборник задач по теории вероятностей и математической статистике для психологов / Е.Ю. Артемьева. М.: Изд. Московского университета, 1969.-207с.

17. Бабанский Ю.К. Проблемы повышения эффективности педагогических исследований: дидактический аспект / Ю.К. Бабанский. — М.: Педагогика, 1982.-207с.

18. Баканов М.И. Теория экономического анализа / М.И. Баканов, А.Д. Шеремет. -М.: Финансы и статистика, 1996. -192с.

19. Бартоломью Д. Стохастические модели социальных процессов /I

20. Д. Бартоломью / под ред. О.В. Староверова. —М.: Финансы и статистика, 1985, 295с.

21. Беспалова P.JI. Статистика: теория и практика: учебное пособие / Р. JI. Беспалова. Тула: Изд-во Тул. гос. пед. ун-та им. Л.Н.Толстого, 1999. — 240с.

22. Беспалько В.П. Некоторые вопросы педагогики высшего образования / В. П.Беспалько. Рига: Рига, 1972. — 248с.

23. Беспалько В.П. Педагогика и прогрессивные технологии обучения /В.П. Беспалько. М.: Ин-т проф. обр. РАО, 1995. - 336с.

24. Боровиков В.М. Statistica: исскуство анализа данных на компьютере / В.М. Боровиков. СПб.: Питер, 2001. - 656с.

25. Буравлев А.И. Выбор оптимальной длины педагогического теста и оценка надежности его результатов / А.И. Буравлев, В.Ю. Переверзев // Дистанционное образование—он-лайн конференция http:/ /conference.mdpu.org.ua.

26. Галочкин А.И. Проблемно-модульная технология обучения — путь к новому качеству образования / А.И. Галочкин и др. / Квалиметрия человека и образования: сб. науч.тр. IVсимпозиума./ Москва.Исследовательский центр- М., 1995. С. 233-224.

27. Глудкин О. П. Всеобщее управление качеством: учеб. для вузов / О.П. Глудкин, Н.М. Горбунов, А.И. Гуров. М.:ЮНИТИ-ДАНА, 1999- 600 с.

28. Гмурман В.Е. Теория вероятностей и математическая статистика: учеб. пособие для вузов /В.Е. Гмурман. 9-е изд., стер. -М.: ВШ, 2003.—479с.

29. Гороховатская Н.В. Оценка качества в образовании: цель или средство? / HB. Гороховатская // Контроль качества и оценка в образовании: Материалы международной конференции. СПб.: Изд-во РГПУ имени А.И.Герцена, 1998.-С. 133-137.

30. Горчаков A.A. Компьютерные экономико-математические модели / A.A. Горчаков, ИВ. Орлова. -М.: Компьютер, 1995. 136с.

31. ГОСТ ИСО 9001-2001 Системы менед жмента качества и сертификация / Госстандарт России.

32. ГОСТ Р-50779.71-99 Статистические методы. Основные положения / Госстандарт России. М.: ИПК Издательство стандартов, 2001.

33. Горбань А.Н. Нейронные сети на персональном компьютере / А.Н. Горбань, Д. Н. Россиев. Новосибирск: Наука. Сибирская издательская фирма РАН, 1996. - 276с.

34. Грабарь М.И. Применение математической статистики в педагогических исследованиях. Непараметрические методы / М.И. Грабарь, К.А. Краснянская. -М.: «Педагогика», 1977.-136с.

35. Граничила O.A. Статистические методы психолого-педагогических исследований: учебное пособие / О А. Грачинина. СПб.: Изд-во РГПУ им. AM. Герцена, 2002.-48 с.

36. Давыдов B.B. Теория развивающего обучения / В.В. Давыдов. — М.: Педагогика, 1996. 541с.

37. Добреньков В.И. Методы социологического исследования / В.И. Добреньков, А.И. Кравченко М.: ИНФРА-М, 2004. - 768с.

38. Дрейпер Н. Прикладной регрессионный анализ /Н. Дрейпер, Г. Смит. -М.: Статистика, 1973. -392с.

39. Елисеева И.И. Общая теория статистики: учебник для вузов / И.И. Елисеева, М.М. Юзбашев / Под ред. ИИ Елисеевой.—4-е изд., перераб. и доп. —

40. Финансы и статистика, 2002.—480с.

41. Елисеева И.И. Логика прикладного статистического анализа / ИИЕлисеева, В.О. Рукавишников.—М.: Финансы и статистика, 1982. 192 с.

42. Ермолаев О.Ю. Математическая статистика для психологов / О.Ю. Ермолаев. М.: Моск. филос. Фонд, 2003. - 48с.

43. Загвязинский В.И. Методология и методика дидактического исследования / В.И. Завзягинский. — М.: Педагогика, 1982. —160с.

44. Закон Российской Федерации О высшем и дополнительном профессиональном образовании // Сб. законодательных актов Российской Федерации. М., 1992.

45. Закон Российской Федерации «Об образовании» // Высшее образование в России. 1992. -№3. - С. 5-36.

46. Захарова И.Г. Информационные технологии в образовании: учебное пособие для студентов вузов / И.Г.Захарова. М.: Издательский центр «Академия», 2003. - 192с.

47. Ибрагимов Г.И. Критерий оценки качества подготовки специалистов среднего звена / Г.И Ибрагимов // Специалист. -2003. №1. - С. 32-34.

48. Идиатулин B.C. Когнитивная технология обучения студентов / B.C. Идиатуллин. Ижевск: ШЕП, 2002. - 180с.

49. Идиатулин B.C. Технологические подходы к обучению / B.C. Идиатуллин // Интернет-журнал "Эйдос": http: // www.eidos.ru/journal /2004/1017. htm.

50. Ильенкова С.Д. Управление качеством: учебник для вузов /С.Д. Ильенкова, ИД. Ильенков, B.C. Мхитарян и др. / Под ред. С.Д. Ильенковой. М.: Банки и биржи, ЮНИТИ, 1998. - 199с.

51. Кадакин В.В. Компьютерная система для мониторинга и диагностики качества учебного процесса / В.В. Кадакин и др. // Интеграция образования. -2001. №4. - С. 46-48.

52. Каримов A.A. Основы системы мониторинга и управления качеством высшего образования / A.A. Каримов, Л.В.Перегудов. Ташкент: Икгисодчи, 2003. - 127с.

53. Касимов P.A. Рейтинг в вузе: Закономерное и случайное / Касимов P.A. // Высшее образование в России. 1994. — № 3. — С. 66-71.

54. Качалов В.И. Проблемы управления качеством в вузах. Заметки менеджера по качеству / В.И. Качалов // Стандарты и качество. 2000. - № 5-7.-С. 9-12.

55. Квин В. Прикладная психология / В. Квин- СПб.: Питер, 2000. -316с.

56. Клайн П. Введение в психометрическое программирование. Справочное руководство по конструированию тестов / П. Клайн. — Киев: ПАН Лтд, 1994.-276с.

57. Кларин М.В. Инновации в мировой педагогике / М.В. Кларин. — Рига: НПЦ Эксперимент, 1995 176с.

58. Колясникова Л.В. Организационные условия подготовки педагогов профессиональной школы к диагностике результатов обучения: Дис. канд. пед. наук : 13.00.08 Екатеринбург, 2003

59. Кондаков И.М. Методологические проблемы мониторинга образования / И.М. Кондаков // Журнал прикладной психологии. — 2002 — №2,-С. 8-19.

60. Корнилова Т.В. Принятие интеллектуальных решений в диалоге с компьютером / Т.В. Корнилова, O.K. Тихомиров. М., 1990 - 198с.

61. Круглов М.Г. Управление качеством. TQM / М.Г. Круглов, Г.М. Шишков. -М.: МГТУ «Сганкин», 1999.-234с.

62. Крюков B.C. Оптимизированная обработка данных тестирования / B.C. Крюков, А.О. Татур // Информационные технологии в образовании: сб. тезисов докладов УП Международной конференции-выставки (1998): http://www.itD.ru.

63. Кулаичев А.П. Методы и средства анализа данных в среде Windows / А.П. Кулаичев. М.: ИнКо, 2006. - 186с.

64. Купер К. Индивидуальные различия / К. Купер. М.: Аспект Пресс, 2000. -526с.

65. Курамшин, И .Я. Дидактика высшей школы: учебное пособие в схемах и таблицах / И.Я. Курамшин, В.Г. Иванов Казань, КГТУ, 2000 - 72 с.

66. Куртон Е.Б. Управление образованием в условиях рынка / Е.Б .Куртон.-М.: Новая школа, 1997 144с.

67. Кыверялг A.A. Методы исследований в профессиональной педагогике / A.A. Кыверялг. Таллин: Валгус, 1980. - 334с.

68. Кэндалл М. Ранговые корреляции / М. Кэндалл — М.: Статистика, 1975.-216с.

69. Липский И.А. Содержательно-функциональная концепция методологического анализа научного знания / И.А. Липский // Психолого-педагогический журнал "Гаудеамус" Тамбовского государственного университета. 2004. - № 2(6). -С. 18-31.

70. Люсина С.Н. Контроль знаний в дистанционном обучении на основе искусственного интеллекта / С.Н. Люсина, И.С. Кабак // Информатизационные средства и технологии: труды международной научно-технической конференции. — М.: МФТИ. 2005, С. 34-38.

71. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование / А.Н. Майоров — СПб.: Образование и культура, 1996.-304с.

72. Мануйлов В. Современные технологии в инженерном образовании / В. Мануйлов, В. Федоров, М. Благовещенская // Высшее образование в России. — 2003. — №3.-С. 117-123.

73. Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения / Е.И. Машбиц- М.: Московский психолого-социальный институт, 1998. -42с.

74. Математическое моделирование социальных процессов / под ред. Д. А. Березина. -М.: Мысль, 1989. 56с.

75. Методы системного педагогического исследования / под ред. проф. Н.В. Кузьминой — Ленинград: Изд-во ленинградского ун-та, 1980. — 171с.

76. Миклушевский В.В. Инновации в управлении вузом: новые решения для корпоративной информационной системы /В.В. Миклушевский и др. // Национальный проект и образование. 2006.- №4. - С. 16-24.

77. Михеев В.И. Моделирование и методы теории измерений в педагогике / В.И. Михеев М.: Высшая школа, 1987 - 156с.

78. Мишин В.М. Управление качеством. Учебное пособие для вузов / В.М. Мишин. М.: Юнити-дана, 2002. - 303с.

79. Моисеев В.Б. Информационный подход к выбору решений в системах адаптивного тестирования / В.Б. Моисеев, Л.Г. Пятирублевый, K.P. Таранцева // Анализ качества образования и тестирование: Материалы конференции. — М.: МЭСИ, 2001.-С. 127-131.

80. Моисеев В.Б. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы / В.Б.Моисеев и др. // Открытое образование. 2001. —№ 1 — С. 51-57.

81. Моисеев В.Б. Оценивание результатов тестирования на основе экспертно-аналитических методов / В.Б.Моисеев и др. // Открытое образование 2001,-№ 3. - С. 32-36.

82. Молчанов И.Н. Мониторинг сферы высшего профессионального образования как комплексная система контроля и управления его развитием / И.Н. Молчанов // Вопросы статистики 2002 - № 11. - С. 60-64.

83. Мухаметзянова Г.В. Профессиональное образование: Проблемы качества и научно-методического обеспечения / Г.В. Мухаметзянова — Казань: Магариф, 2005.- 319с.

84. Мухаметзянова Г.В. Мониторинг и оценка качества подготовки специалистов среднего звена / Г.В. Мухаметзянова, В.Н.Смирнов, О.Р. Клюева. Казань: ИСПО РАО, 2004. - С. 52-64.

85. Национальная доктрина образования в Российской Федерации // Образовательный сервер: http: //www.humanities.edu.ru/

86. Нейман Ю.М. Вводный курс теории вероятностей и математической статистики / Ю.М. Нейман. М.: Наука, 1968. - 258с.

87. Нейман Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.М. Нейман, В.А. Хлебников. — М.: Прометей, 2000- 170с.

88. Нардюжев В.И. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования // В.И. Нардюжев, И.В. Нардюжев. -М.: Прометей, 2000.-147с.

89. Нуждин В.Н. Стратегия и тактика управления качеством образования: методическое пособие / В.Н. Нуждин и др.. — Иваново: Изд. ИГЭУ, 2003.-252с.

90. Нуриев Н.К. Организация мониторинга обучения на основе количественного ситуационного анализа: функциональные и методическиеаспекты деятельности университетских комплексов / Н.К. Нуриев. — Казань, 2002. 254с.

91. Ньюман JI. Анализ качественных данных / JI. Ньюман // Социологические исследования. — 1998. №3, 6, 12.

92. Образцов П.И. Психолого-педагогические аспекты разработки и применения в вузе информационных технологий обучения / П.И. Образцов-Орел: Орловский государственный технический университет, 2000 — 145с.

93. Обучение и развитие / Под ред. JI.B. Занкова. М.: Педагогика, 1975.-245с.

94. Овчаров JI.A. Прикладные задачи теории массового обслуживания / JI. А. Овчаров. М.: Машиностроение, 1969-323с.

95. Околелов О.П. Современные технологии обучения в вузе / О.П. Околелов // Высшее образование в России — 1994 — № 2 — С. 45-50.

96. Орлов А.И. Теория измерений и педагогическая диагностика /А. И. Орлов // Педагогические измерения. 2004. -№5 - С. 20-26.

97. Оценка качества подготовки будущих учителей / Под ред. Т. В. Мурновской Тула: Изд-во Тул. гос. пед. ун-та. - 2002, 144с.

98. Павлова И.Н. О проблеме угадывания правильного ответа в тесте / И.Н. Павлова, A.B. Одиноков // Информационные технологии в образовании (Конгресс конференций ИТО-2003): http://www.ito.ru.

99. Педагогика: учебное пособие для студентов педагогических учебных заведений / В.А. Сластенин и др..- М.: Пресса, 1997. 512с.

100. Поташкин М.М. Качество образования: проблемы и технологии управления (В вопросах и ответах) / М.М. Поташкин М.: Педагогическое общество России, 2002 - 352с.

101. Приказ Минобразования России от 17.02.2004 № 273-24 Основные направления развития статистики и мониторинга образования на 2004-2006 г // Приложение к распоряжению Минобразования России.

102. Прохоров А.О. Компьютеризация образования и проблема исследования психических состояний / Прохоров А.О., Дмитриева JI.M.,

103. Сережкина А.Е. // Отчетная научно-методическая конференция: сб.докл.— Казань, КХТИ, 1994.- С. 29.

104. Процедуры оценки качества в Европейском высшем образовании. Исследование ЕСОК // Международная Стратегическая Группа Экспертов: http://www.iseg.ru/sessions/s6/dieced.doc.

105. Пятирублевый Л.Г. Оценка эффективности образовательных тестов / Л.Г. Пятирублевый, K.P. Таранцева // Сервер AHO «ИТО» и Московского центра Интернет-образования образования: http://www.ito.ru.

106. Пятковский О.И. Интеллектуальные компоненты автоматизированных информационных систем управления предприятием: Монография / О.И. Пятковский. -Барнаул: АлгПУ, 1999. -351с.

107. Родионов Б.У. Стандарты и тесты в образовании / Б.У. Родионов,

108. A.О. Татур. М.: МИФИ, 1995.- 48с.

109. Решение математических задач средствами Excel: практикум /

110. B.Я. Гельман. СПб.: Питер, 2003.- 240с.

111. Рудинский И. Д. Методы и модели интеллектуального автоматизированного контроля знаний: реферат / И.Д. Рудинский- Калининград: Изд. КТУ, 2001.-55с.

112. Рудинский И.Д. Основы формально-структурного моделирования систем обучения и автоматизации педагогического тестирования знаний / И.Д. Рудинский М.: Горячая линия - Телеком, 2004. - 204с.

113. Рудинский ИД. Статистические методы вывода оценки результатов автоматизированного тестирования / И.Д. Рудинский, С.В. Грушецкий // Международный конгресс конференций "Информационные технологии в образовании" ИТО-2003: http://www.ito.ru.

114. Рудинский И.Д. Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования / И.Д. Рудинский // Информационные технологии. 2003.- № 9.— С. 46—51.

115. Савельева Л. А. Роль информационных технологий в педагогическом мониторинге / Л.А. Савельева // Международный конгрессконференций "Информационные технологии в образовании" ИТО-2003: http://www.ito.ru.

116. Сборник нормативно-методических материалов: для специалистов, осуществляющих функции по надзору и контролю в сфере образования / Н.Г. Ярошенко и др.. -М.: АПК и ППРО, 2006. 128с.

117. Сластенин, В. А. Учебное пособие для студентов высших педагогических учебных заведений / В.А. Сластенин, И.Ф. Исаев, E.H. Шиянов / под ред. В.А. Сластенина. М.: Издательский центр "Академия", 2002. —576с.

118. Стандарты и директивы для агентств гарантии качества в высшем образовании на территории Европы / Европейская Ассоциация Гарантии Качества в Высшем Образовании: http://www.edu.ru.

119. Степанко А.И. Качество мониторинга и информационные технологии / А.И. Степанко // Международный конгресс конференций «Информационные технологии в образовании» ИТО-2003: // http://www.ito.ru.

120. Смирнов С.Д. Педагогика и психология высшего образования: учебное пособие для вузов / С.Д. Смирнов.—М.: «Академия», 2005 400с.

121. Сочивко Д.В. Математические модели в психолого-педагогических исследованиях: Учебное пособие / Д.В. Сочивко, В.А. Якунин—JL: ЛГУ, 1988. — 68с.

122. Субетто А.И. Качество образования: проблемы оценки и мониторинга / А.И. Субетто // Образование 2000. - №2. - С. 62-66.

123. Субетто А.И. Российский Союз ректоров и стратегия развития высшей школы России (Итоги десятилетнего периода: 1992 2002) / А.И. Субетто // Сайт Академии Тринитаризма: http://www.trinitas.ru/

124. Субетто А.И. Система управления качеством в вузе (модель) / А.И. Субетто. М.: Академия, 2002. - 24с.

125. Талызина Н.Ф. Теоретические проблемы программированного обучения / Н.Ф. Талызина М.: Изд-во Московского университета, 1969. — 134с.

126. Талызина Н.Ф. Управление процессом усвоения знаний / Н.Ф. Талызина.-М.: МГУД984.-344с.

127. Технология мониторинга качества обучения в системе "учитель-ученик": методическое пособие для учителя / под ред. Кальней В.А. — М.: Педагогическое общество России, 1999;-86с.

128. Терехина А.Ю. Анализ данных методами многомерного шкалирования / А.Ю. Терехина. — М.: Наука, 1986.-168с.

129. Тимофеев A.B. Роботы и искусственный интеллект / A.B. Тимофеев. — М.: "Наука", 1978.-192с.

130. Тюрин, Ю.Н. Статистический анализ данных на компьютере / Ю.Н. Тюрин, A.A. Макаров / под ред. В.Э. Фигурнова. М.: ИНФРА-М, 1998.- 528с. ; 1 ' •

131. Унт, И. Индивидуализация и дифференциация обучения / И. Унт. М.: Педагогика, 1990. - 188с.

132. Федорищева О.И. К вопросу о мониторинге системы высшего профессионального образования / О.И: Федорищева, В.Г. Шуметов // Сайт ОРАГС: http://www. eduhmao.ru

133. Хан Г. Статистические методы в инженерных задачах / Г. Хан, С. Шапиро / под ред. Налимова B.B. М.: Мир, 1969- 395с.

134. Хей Дж. Введение в методы байесовского статистического вывода / Дж. Хей. -М.: Финансы и статистика, 1987. 335с.

135. Челышкова М.Б. Математические модели современной теории тестов / М.Б. Челышкова // Научные проблемы тестового контроля знаний: сб. тез. докл. школа-семинар. — М.: Исслед. центр, 1994 — С. 32-36.

136. Челышкова М.Б. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе / М.Б. Челышкова. — М.: Исслед.центр, 1995 86с.

137. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей / М.Б. Челышкова.-М.: Исслед. центр, 1999.-31с.

138. Челышкова М.Б. Теория и практика конструирования педагогических тестов / М.Б. Челышкова. М.: Исслед. центр, 2001. — 359с.

139. Чилап А.Я. К тестированию студентов / Чилап А.Я., Хамзин А.А. // Управление качеством профессионального образования: от проблемы к системе: Материалы международной научно-методической конференции. — Казань: Изд. КГЭУ, 2005.- С. 232.

140. Чошанов М.А. Гибкая технология проблемно-модульного обучения / М.А. Чошанов.— М.: Народное образование, 1996 152с.

141. Эрганова Н.В. Методика профессионального обучения: учебное пособие / Эрганова Н.Е.-Екатеринбург: Изд-во Рос. гос. проф.-пед. ун-та, 2003.- 150 с.

142. Яковлев Е.В. Квалиметрический подход в педагогическом исследовании: новое видение / Е.В. Яковлев // Педагогика, № 3.-1999.-С. 49-54.

143. Barnet R. Improving higher éducation: total quality care / R Barnet. SRHE and Open University Press, 1992.

144. Dinya L. Transformation processes in higher éducation: more market, less government / L. Dinya // Tertiary Education and Management. Vol. 3. No. 2. 1997.-P. 113-118.

145. El-Khawas E. Accréditation's role in quality assurance in the United States / E. El-Khawas // Higher Education Management, November 1998. Vol. 10. No. 3.-P. 43-56.

146. El-Khawas E. Internal review to Assure quality: comparative perspectives on evolving practice / E. El-Khawas, T. Thah // Tertiary Education and Management. Vol. 4. No. 2. 1998.- P. 95-101.

147. Gordon G. Approaches to effective internal processes to quality management: an initial analysis / G. Gordon // Tertiary Education and Management. Vol. 4. No. 4, 1998.-P. 295-301.

148. Harvey L. External quality monitoring in the market place / L. Harvey // Tertiary Education and Management. Vol. 3. No. 1, 1997 P. 25-35.

149. Harvey L. Quality is not free! Quality monitoring alone will not improve quality / L. Harvey // Tertiary Education and Management. Vol. 3. No. 2, 1997.-P. 133-143.

150. Jacobsson P. A Plea for more consistent definition of quality in education and research / P. Jacobsson // Quality and communication for improvement: proceedings 12th European AIR Forum: Lion: Lemma, 1990—P. 5984.

151. Kristensen B Quality Assessment at a multinational level / B. Kristensen, M. Plannthin // Tertiary Education and Management. Vol. 4. No. 2, 1998.-P. 103-113.

152. Martin J. Application development without programmers. /J. Martin-Englewood Cliffs, 1982.

153. Mclnnis C. Defining and assessing the student experience in the quality management process / C. Mclnnis // Tertiary Education and Management. Vol.3. No. 1, 1997.-P. 63-71.

154. Method for the Improvement of the Quality of Higher Education in Accordance with the EFQM Model, the Hanzehogeschool, Hogescool van Groningen, English version // http://www.enqa.net.

155. Quality Assurance Implications of New Forms of Higher Education // European Network for Quality Assurance: http://www.enqa.net

156. Quality Assurance: A Reference System for Indicators and Evaluation Procedures // European Association of Universities: http://www.eua.be/eua/jsp/en/upload

157. Moller K Stakeholders and quality: dimensions of inspiration and control / K. Moller, E. Iversen // Centre for Quality Assurance and Evaluation of Higher Education: http://www.cqae.be/eua

158. The sectoral quality assurance project hob in the Netherlands (The framework for assessing quality; the cornerstone of the visitation process), Association of Dutch Polytechnics and Colleges—The Hague, 1993.

159. Thune C. The European system of quality assurance dimensions of harmonisation and differentiation / C. Thune // Higher Education Management, November 1998, Vol. 10. No. 3. -P. 9-26.

160. Vroeijestijn T. I. Control oriented versus improvement oriented quality assessment / T. I. Vroeijenstijn, H. Acherman // Peer review and performance indicators: quality assessment in British and Dutch higher education

161. Utrecht: Lemma, 1995. P. 81 -101.

162. Wahlen S. Is there a Scandinavian model of evaluation of higher education? / S. Wahlen // Higher Education Management: Vol. 10. No. 3, 1998. -P.27-42.

163. Westerheijden D. F. Peers, performance and power: quality assessment in the Netherlands / D. F. Westerheijden // Peer review and performance indicators: quality assessment in British and Dutch higher education-Utrecht: Lemma, 1994.-P. 183-207.

164. Westerheijden D. F. Systems of quality assessment in European higher education /D. F. Westerheijden // the 4-thEAIE Conference-Berlin, 1992.

165. ИСПОЛЬЗОВАНИЕ МОМЕНТОВ ВЫСШЕГО ПОРЯДКА ДЛЯ АНАЛИЗА ЭКСПЕРИМЕНТАЛЬНЫХ ДАННЫХ МОНИТОРИНГА.

166. Рис.1.1. Зависимость коэффициента асимметрии от среднеквадратического отклонения1. СКО (Среднее)1. ГИПЕРГЕОМ- БИНОМа Эксперимент — — Полиномиальный1. Среднее

167. Рис.1.2. Зависимость среднеквадратического отклонения от среднегобалла

168. Рис. 1.3. Зависимость коэффициента асимметрии от среднего значения

169. Рис 1.4. Зависимость коэффициента эксцесса от среднего балла

170. Рис.1.5. Зависимость коэффициента эксцесса от коэффициентаасимметрии

171. Рис.1.6. Распределение оценок, КГПУ

172. СТАТИСТИЧЕСКОЕ РАНЖИРОВАНИЕ УЧЕБЫХ ДИСЦИПЛИН

173. Рис.2.1. Ранжирование учебных дисциплин методом моментов.

174. Предметы экономического цикла, которые требуют знания как гуманитарных, так и математических дисциплин, скоплены в области близкой к нулю, то есть средний балл в группах примерно 3.6, то есть оценки в группе распределены симметрично по всем баллам.

175. ИСПОЛЬЗОВАНИЕ МЕТОДА МОМЕНТОВ ДЛЯ ДАННЫХ ТЕКУЩЕГО КОНТРОЛЯ.

176. Были взяты наборы аттестационных оценок текущего контроля (оценивание велось по пятибалльной шкале) 40 групп студентов, каждой оценке x¡ ставился в соответствие балл y¡ = 5-x¡ .

177. Рис. 3.1. Итоги аттестации по начертательной геометрии (КАИ).

178. Рис. 3.2. Распределение баллов по начертательной геометрии1. КАИ).

179. Рис. 3.3. Использование метода моментов для мониторинга по текущему контролю знаний

180. ПЛАНЫ ВЫБОРОЧНОГО КОНТРОЛЯ1. Одноступенчатый план

181. Таким образом, для реализации одноступенчатого плана необходимо, чтобы параметры плана п, с для данного N были заранее между приемщиком и поставщиком согласованы. Этот план методически является наиболее простым.1. Двухступенчатый план

182. Двухступенчатый план контроля проводится на основе заранее согласованных числовых значений параметров плана пь сь Ьь п2, с2.

183. Таким образом, аналогично одноступенчатому плану контроля, по некоторой выборке делается вывод о состоянии всей совокупности, при этом контроль проходится дважды, для уточнения результата.1. Многоступенчатые планы

184. Тактика контроля следующая. Первоначально берется частная выборка объемом П. и определяется число дефектных изделий с^. Если с!] < С , то партия принимается. В другом случае, если с^ > Ь>1 , то партия бракуется.

185. Если на к-м шаге среди п = П. + п2 + п3 + .+ п + п к проконтролированных изделий этой объединенной выборки окажется с!к дефектных и с!к < Ск , то партия принимается; если же <4 > ск партия бракуется.

186. В многоступенчатых планах число шагов обычно принимается, что П! = п2 = . = пы = пк. Результат получается более точным и обоснованным при многоступенчатом контролер однако требует наибольшей трудоемкости.1. Последовательный контроль

187. В последовательном контроле общее число к частных выборок заранее не устанавливается. Оно определяется в процессе контроля исходя из результатов сделанных на предыдущих этапах контроля к-1 частных выборок.

188. ОПЕРАТИВНАЯ ХАРАКТЕРИСТИКА КОНТРОЛЯ.

189. Экзамен принимается, если число Б неверных (дефектных) ответов не превышает определенную величину Брг дефект приемки (например, при Б < Брг = 25).

190. Экзамен не принимается, если Э больше или равно величине БЬг -дефект брака (например, при Б > БЬг = 30).

191. В противном случае, т.е. при Брг < Б < БЬг, партия подвергается сплошному контролю для замены дефектных изделий на качественные.

192. Метод контроля выборочный. Размер выборки п и приемочное число с определяются из следующих условий.

193. Размер выборки п определяется расчетным путем. При этом среди всех п, обеспечивающих риски в пределах от 0 до Я, выбирается минимальное значение.

194. Риск студента R1 и преподавателя R2 определяются выражениями: Rl=l-P(Dpr), R2=P(Dbr),

195. Выборочная приемка с использованием ОХК требует проведения громоздких расчетов, для проведения которых необходим персональный компьютер.

196. ИССЛЕДОВАНИЕ РЕЗУЛЬТАТОВ ЕГЭ

197. Иллюстративный материал по каждому предмету представлен на рис. 7.1-7.12.