Модели, методы и инструментальные средства оценки потребительского качества тестовых систем в образовании тема диссертации и автореферата по ВАК РФ 08.00.13, кандидат экономических наук Жилина, Елена Викторовна

• Жилина, Елена Викторовна
• кандидат экономических наук
• 2012

Оглавление диссертации кандидат экономических наук Жилина, Елена Викторовна

ВВЕДЕНИЕ

1 ПРОБЛЕМЫ ОЦЕНКИ ПОТРЕБИТЕЛЬСКОГО КАЧЕСТВА

КОМПЬЮТЕРНЫХ СИСТЕМ ТЕСТИРОВАНИЯ В ОБРАЗОВАНИИ

1.1 Тестирование как результат образовательной деятельности вуза

1.2 Анализ применяемых моделей и методов тестирования для оценки знаний студента

1.3 Проблемы построения информационной системы тестирования

1.4 Использование адаптивного тестирования для оценки знаний студента

2 ЭКОНОМИКО-МАТЕМАТИЧЕСКИЕ МОДЕЛИ ПРОЦЕССА 55 АДАПТАЦИИ В ТЕСТОВЫХ СИСТЕМАХ

2.1 Модели и алгоритмы адаптивного тестирования и их реализация

2.2 Динамическая оценка знаний при тестировании: байесовский подход

2.3 Использование бинарной логистической регрессии для вычисления количества угаданных ответов и случайных ошибок испытуемого

2.4 Модели и методики оценки потребительского качества банка заданий тестовых систем

3 ОЦЕНКА ЗНАНИЙ СТУДЕНТА ПРИ АДАПТИВНОМ ТЕСТИРОВАНИИ НА БАЗЕ ТЕОРИИ НЕЧЕТКИХ МНОЖЕСТВ

3.1 Обоснование возможности использования нечетких моделей для расчета количественных показателей качества подготовки студента

3.2 Моделирование лингвистической оценки обученности студента при адаптивном тестировании

3.3 Нечеткая модель оценки успешности освоения дисциплины студентом

4 МОДЕЛИРОВАНИЕ ИНФОРМАЦИОННОЙ СИСТЕМЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ

4.1 Функциональная полнота адаптивных образовательных тестовых систем

4.2 Визуальное моделирование информационных процессов адаптивного тестирования

4.3 Разработка модели web-ориентированной информационной системы адаптивного тестирования ЗАКЛЮЧЕНИЕ

Введение диссертации (часть автореферата) на тему «Модели, методы и инструментальные средства оценки потребительского качества тестовых систем в образовании»

Актуальность темы исследования. Отказ от устоявшихся и введение новых технологий (тестирование при приеме в вузы вместо традиционных экзаменов, балльно-рейтинговая система оценивания, обучение в виртуальной среде и т.д.) выводит проблему качества образования в ряд приоритетных государственных и общественных проблем.

В настоящее время в российской системе высшего образования большинство вузов в своей деятельности обращается к автоматизированным системам тестирования не только в процессе текущего и итогового контроля знаний студентов, но и в качестве механизма оценки уровня образования выпускников.

Тестовые системы в образовании обеспечивают: накопление информации о процессе тестирования каждого испытуемого (учет времени тестирования, статистику результатов, рейтинг и др.); большой объем банка заданий, распределенных по уровням сложности; расчет статистических характеристик и показателей надежности функционирования тестовых заданий; динамическую оценку знаний испытуемого при любой системе оценивания; уменьшение доли субъективизма при оценке результатов освоения дисциплины испытуемым и Др.

Важным является тот факт, что с точки зрения пользователя системы тестирования, аналогичные по своему назначению и выполняемым функциям, имеют разную стоимость, обладают разными возможностями. В сложившейся ситуации необходимо адекватно оценивать потребительское качество тестовых систем, степень ее соответствия требованиям пользователя.

Это обусловило необходимость проведения анализа информационных процессов, разработки моделей и методов, обеспечивающих потребительское качество систем тестирования в образовании.

Степень разработанности проблемы. Проблемы оценки качества информационных систем (ИС) рассматриваются в трудах ученых

Т.П.Барановской, В.В.Дика, А.И.Долженко, Е.Н.Ефимова, В.В.Липаева, Г.А.Титоренко, Е.Н.Тищенко, Г.Н.Хубаева, И.Ю.Шполянской и др.

Общетеоретические, методологические и практические вопросы по проблемам качества образовательной системы Российской Федерации исследуются в трудах С.В.Арженовского, Г.В.Гореловой, В.А.Долятовского, Л.В.Зайцевой, А.Н.Ткачева и др.

Вопросам проведения тестирования, контроля и оценки знаний посвящены работы В.С.Аванесова, В.И.Васильева, Д.Вейса, К.Х.Калугян, П.И.Канивца, Дж.Раша, Т.Н.Тягуновой, М.Б.Челышковой и др.

Вопросы моделирования информационных процессов с использованием языка ЦМЬ освещены в работах Д. Рамбо, А. Боггса, Г. Буча, А.М.Вендрова, Т.Кватрани, А.В.Леоненкова, Г.Н.Хубаева, И.Ю.Шполянской, С.М.Щербакова, А.Якобсона и др.

Однако до настоящего времени не существует комплексных теоретических и практических разработок, посвященных проблемам оценки потребительского качества образовательных систем. Не упоминается о разработках и использовании моделей, методов и инструментальных средств адаптивного тестирования, а приводится лишь теоретическое обоснование необходимости его использования в образовании. Большинство применяемых в, учебных заведениях квалификационных тестов таковыми не являются. Не выполняется обязательная проверка качества теста, не проводится определение их трудности. Данные обстоятельства обусловили выбор темы диссертационного исследования, определили его цели, задачи и структуру.

Объект и предмет исследования. Объектом исследования являются образовательные учреждения всех организационно-правовых форм. Предметом исследования выступают социально-экономические процессы и явления сферы образования.

Цель диссертационного исследования. Целью диссертационного исследования является разработка методического и инструментального обеспечения для оценки потребительского качества систем тестирования в образовании.

Для достижения поставленной цели потребовалось решить следующие задачи:

- разработать экономико-математические модели, позволяющие оценить потребительское качество тестовых заданий (вопросов);

- разработать модели формирования индивидуальных итоговых оценок знаний испытуемых, алгоритмы, уменьшающие время проведения адаптивного тестирования, и инструментарий их реализации;

- выполнить оценку функциональной полноты существующих образовательных систем тестирования;

- разработать комплекс моделей информационной системы адаптивного тестирования (в нотации унифицированного языка моделирования - ИМЬ), который позволит отразить рациональную структуру и функции информационной системы, снизить затраты на ее разработку, модернизацию и модификацию.

Теоретическую и методологическую основу исследования составили труды российских и зарубежных ученых, посвященные исследованию проблем потребительского качества информационных систем и технологий, вопросам системного анализа, методам математической статистики, теории вероятностей и теории нечетких множеств. Диссертационное исследование базируется на современных работах, посвященных методам структурного и объектно-ориентированного анализа и моделирования информационных систем, материалах конференций, статьях в сборниках научных трудов и в периодической печати, информационных материалах, опубликованных в Интернете.

Эмпирическую базу исследования составили результаты исследований автора, собранные в ходе активных и пассивных экспериментов.

Инструментально-методический аппарат исследования составили методы системного анализа, математической статистики, теории вероятности, теории нечетких множеств, унифицированный язык моделирования UML, современное программное обеспечение общего и специального назначения: AllFusion Process Modeler r7, AllFusion Erwin Data Modeler r7, IBM Rational Rose (в том числе инструменты Data Modeler, Web Modeler), STATISTICA 6.0, Fuzzy Logic Toolbox средства MATLAB 7.11.0, программа «Анализ функциональной полноты ИС», разработанная в ФГБОУ ВПО «РГЭУ (РИНХ)», программа «ModExTest», разработанная автором в среде Visual Basic 6.0.

Работа выполнена в рамках паспорта специальности 08.00.13 -«Математические и инструментальные методы экономики» п.2.6 «Развитие теоретических основ, методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии».

Нормативно-правовая база исследования основана на законодательных и нормативных актах, постановлениях, федеральных государственных стандартах Минобрнауки России.

Рабочая гипотеза заключается в следующем: для эффективной организации деятельности образовательного учреждения при контроле знаний обучаемых необходимы компьютерные системы тестирования, удовлетворяющие требованиям пользователей. Создание и использование моделей, методов и инструментальных средств позволит оценить потребительское качество систем тестирования и минимизировать издержки при их реализации.

Положения, выносимые на защиту:

1. Инструментальное средство для оценки применимости моделей тестирования, учитывающее время прохождения теста, количество вопросов в тесте, уровень сложности тестовых заданий, количество правильных ответов и ошибок испытуемого, вероятность соответствия оценки на каждом уровне знания.

2. Методика оценки вероятности получения качественного тестового задания, определяющая влияние положительных (отрицательных) ответов испытуемых, распределенных по соответствующим уровням знаний, на тестовые задания.

3. Методика оценки уровня обученности и успешности освоения дисциплины студентом при тестировании в рамках накопительной балльно-рейтинговой системы для представления шкалы оценок в естественноязыковых категориях.

4. Результаты сравнительной оценки потребительского качества тестовых систем по критерию функциональной полноты.

5. Построенные визуальные модели информационной системы адаптивного тестирования, функционирующей в Интернет-среде, в нотации имь.

Научная новизна диссертационного исследования заключается в разработке методических и практических основ обеспечения потребительского качества систем тестирования, применяемых в образовательной деятельности вуза.

Основные результаты, содержащие элементы научной новизны, состоят в следующем:

1. Разработано инструментальное средство для оценки применимости комплекса моделей тестирования, отличающееся возможностью выдачи тестовых заданий как случайным образом, так и с учетом адаптации, когда последующее задание отличается от предыдущего коэффициентом «трудности», учитывающее время прохождения теста, количество вопросов в тесте, уровень сложности тестовых заданий, контрольные точки тестирования, количество правильных ответов, случайных ответов и ошибок испытуемого (на основе модели бинарной логистической регрессии), вероятность соответствия оценки (на основе байесовского подхода) на каждом уровне знания, что позволяет существенно снизить затраты на оценку характеристик потребительского качества тестовых систем.

2. Разработана методика оценки вероятности получения требуемого тестового задания на основе модели бинарной логистической регрессии, отличающаяся возможностью использования результатов тестирования группы испытуемых, и позволяющая определить влияние положительных (отрицательных) ответов испытуемых, распределенных по соответствующим уровням знаний, на тестовые задания, выявить динамику изменения их категории («качественное», «некачественное») и повысить потребительское качество тестовых систем.

3. Разработана методика оценки уровня обученности и успешности освоения дисциплины студентом при тестировании в рамках накопительной балльно-рейтинговой системы на основе теории нечетких множеств, позволяющая динамически оценивать знания студента, отличающаяся возможностью представления шкалы оценок в естественно-языковых категориях.

4. Выполнена сравнительная оценка потребительского качества существующих классов тестовых систем (дистрибутивные тестовые системы, веб-системы тестирования и модули тестирования в образовательных системах) с использованием метода анализа функциональной полноты систем1, позволившая количественно оценить степень подобия рассматриваемых системам, степень соответствия той или иной структуры «эталонной» модели информационной системы, учитывающей требования пользователя к информационно-образовательной среде. Результаты анализа помогли выделить группы однородных информационных систем со сходным набором функций, что позволяет сравнивать их между собой, сопоставляя другие характеристики (цена, производительность, надежность и др.), предоставляя пользователям возможность сделать обоснованный выбор.

5. Разработаны визуальные модели в нотации ЦМЬ информационной системы, отличающиеся описанием процессов адаптивного тестирования.

1 Хубаев, Г.Н. Сравнение сложных программных систем по критерию функциональной полноты //Программные продукты и системы (8ой&8уз1ет). -1989. - №2. - С.6-9.

Модели описывают функциональное назначение системы, содержат информационные и образовательные процессы тестирования, отображают структуру объектов и связей в системе в виде модели базы данных и программных компонентов, функционирующих в Интернет-среде, что позволяет существенно снизить затраты на разработку, модернизацию, модификацию и настройку программной системы.

Теоретическая и практическая значимость исследования. Теоретическая значимость результатов диссертационной работы состоит в создании методического обеспечения для оценки потребительского качества систем тестирования.

Практическая значимость диссертационной работы заключается в разработке инструментального средства для реализации комплекса экономико-математических моделей, позволяющего снизить затраты на оценку характеристик потребительского качества тестовых систем. Разработанные ЦМЬ-модели дают представление о структуре и динамике ИС, что позволяет разработчикам программного обеспечения реализовать решения по созданию системы тестирования для любого образовательного учреждения, а использование объектно-ориентированных технологий на всех стадиях разработки ИС позволяет осуществить ее программную реализацию и адаптацию с минимальными затратами.

Предложенные автором методы, модели и программный инструментарий позволят образовательным учреждениям повысить потребительское качество разрабатываемых систем тестирования, в том числе использующих веб-технологии, сократить временные и финансовые затраты на проектирование.

Апробация работы Теоретические положения и практические рекомендации, сформулированные в диссертационном исследовании, нашли отражение в научно-исследовательских работах кафедры «Информационные технологии и защита информации» РГЭУ (РИНХ), докладывались автором на научно-практических конференциях: «Экономико-организационные проблемы проектирования и применения информационных систем: материалы X междунар. науч.-практич. конф.» (г.Кисловодск, декабрь, 2008 г.); «Экономические информационные системы и их безопасность: разработка, применение и сопровождение: материалы регион, науч.-практич. конф.» (п.Архыз, октябрь, 2009 г.); «Современные достижения в науке и образовании: математика и информатика: материалы междунар. науч.-практич. конф.» (г.Архангельск, февраль, 2010 г.), «Тенденции развития научных исследований (Тенденци розвитку наукових дослщжень)» (г.Киев, февраль, 2011 г.), «Zprávy védecké ideje - 2011: materiály VII mezinárodní vedecko - praktická konference» (г.Прага, октябрь, 2011 г.) и другие.

Отдельные результаты диссертационной работы были использованы в исследованиях по внутривузовскому гранту: "Интерактивный инструментарий анализа качества и эффективности применения тестов в учебном процессе РГЭУ «РИНХ»" (№ 2/07-вн, 2007 г.).

На основании результатов исследования создан программный продукт «Моделирование экспериментов тестирования "ModExTest"», зарегистрированный в РОСПАТЕНТе, № 2012612347.

Результаты диссертационной работы нашли применение в учебно-методическом отделе ФГБОУ ВПО «Ростовский государственный экономический университет (РИНХ)» в рамках накопительной балльно-рейтинговой системы и внедрены в учебный процесс; приняты к использованию в НОУ ВПО «Ростовский международный институт экономики и управления» и др.

Публикации. Основные результаты диссертации отражены в 17 опубликованных научных работах, в том числе 4 - в изданиях, рекомендованных ВАК России. Общий объем публикаций по теме 8,25 п.л, из них авторских 6,65 пл.

Структура и объем диссертации

Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка, содержащего 159 литературных источника, и 14 приложений.

Заключение диссертации по теме «Математические и инструментальные методы экономики», Жилина, Елена Викторовна

Основные выводы и результаты проведенного исследования заключаются в следующем:

1. На основании анализа литературы была получена классификация тестов, рассмотрены общие атрибуты качества тестов.

2. Проведен анализ применяемых моделей и методов тестирования для оценки знаний студента. Рассмотрены принципы, достоинства и недостатки классической теории тестирования (Classical Test Theory — СТТ) и современной теории тестирования (Item Response Theory - IRT).

3. Общий подход к оценке качества компьютерных тестовых систем базируется на представлении о том, что тестовая оболочка рассматривается как информационная система (ИС). В рамках проведенного исследования были проанализированы более 90 образовательных тестовых систем, анализ которых позволил выделить более 100 функций.

4. Для проведения анализа информационных процессов автоматизации тестовых систем применялось CASE-средство AllFusion Process Modeler 7.0 (BPwin). Для разработки информационной модели на базе функциональной модели применялось инструментальное средство Erwin Data Modeler 7.0. Данный подход позволил выделить недостатки существующих систем тестирования.

5. С учетом особенностей сложных систем рассмотрено понятие адаптации как активного действия (управления), изменяющего параметры и

- структуру системы, определяющего критерии ее функционирования. Анализ литературных источников и обзор тестовых систем позволил выделить группу функций адаптивного тестирования (23), включающие функции адаптации процесса тестирования и функции адаптации Банка заданий.

6. Было разработано инструментальное средство «ModExTest», написанное на языке Visual Basic 6.0, для оценки применимости комплекса моделей адаптивного тестирования (базовая, модифицированная базовая, расширенная базовая и эталонные модели). По всем разработанным моделям итоговые вероятности гипотез подтверждают, что при 50% ответов испытуемый получит оценку "2", при 60% ответов - оценку "3", при 70% ответов - оценку "4", при 80% ответов - оценку "5". Это в целом соответствует общей практике оценки знаний при тестировании. Результаты моделирования всех приведенных моделей адаптивного тестирования доказали их применимость для оценки знаний испытуемого.

7. На основе байесовского подхода разработана методика динамической оценки знаний при адаптивном тестировании, учитывающая результаты тестирования знаний испытуемого и его предыдущие ответы как вероятности гипотез об уровне знаний при наблюдении появления некоторого события (ответа или не ответа на вопрос определенной сложности).

Результаты моделирования динамической оценки знаний по формуле Байеса доказали их применимость для оценки знаний испытуемого при проведении адаптивного тестирования. Из результатов экспериментов видно, что практически к 20-ому тестовому вопросу могут быть сделаны итоговые выводы по оценке знаний испытуемого. Экспериментально установлено, что применение данного метода оценки знаний позволяет снизить объем тестирования на треть, т.е. повысить эффективность тестирования примерно на 30%.

8. На основе отношения несогласия, рассчитанного методом классификации наблюдений, разработана методика вычисления количества угаданных ответов и количества случайных ошибок. Отношение несогласия является одним из критериев оценки качества бинарной логистической регрессии, позволяющей вычислять вероятность правильного ответа испытуемого на каждом уровне знания. Это достигается применением регрессионного уравнения (логит-преобразование), вычисляющего вероятность того, что произойдет интересующее событие (тестируемый правильно ответил на вопрос), учитывая динамику изменения вероятности (АРО, соответствующего 1 -го уровня сложности.

9. Большинство применяемых в учебных заведениях дисциплинарных, междисциплинарных и квалификационных тестов таковыми не являются. Не выполняется обязательная проверка качества теста, не проводится определение их трудности.

На основании пробного тестирования были вычислены числовые характеристики (дисперсия, среднее квадратическое отклонение, коэффициент вариации и др.), позволившие выявить дифференцирующую способность данной совокупности тестовых вопросов при оценке знаний тестируемыми. Разбиение тестовых заданий по уровням сложности позволяет получить распределения ответов, близких к нормальному закону распределения. Построены гистограммы долей правильных ответов и распределения количества испытуемых.

10. Расчет с использованием метода бисериального коэффициента корреляции, подходящий для дихотомических шкал, направленный на проверку гипотезы о связи между тестовым вопросами и общим результатом теста, позволяет распределить задания по категориям: 1 - соответствует качественному тестовому вопросу, 0 - некачественному.

11. В работе спрогнозированы вероятности получения качественного тестового задания на основе модели бинарной логистической регрессии, позволяющей выявить влияние положительных (отрицательных) ответов тестируемых, распределенных по соответствующим уровням знаний, на тестовые задания и выявить динамику изменения их категории при дальнейшем использовании банка заданий адаптивного теста.

12. Для определения точности теста и устойчивости его результатов необходимо вычислять его надежность. Для дихотомических шкал тестовых ответов рекомендуется использовать формулу Кьюдера — Ричардсона. Рассчитанный показатель контрольного тестирования показал хорошую надежность, что говорит о возможности использования теста в дальнейшем.

13. В работе проведено моделирование лингвистической оценки уровня обученности студента, позволяющее динамически получать результат на каждом этапе адаптивного тестирования. Для исследуемого параметра («Оценка уровня обученности») его качество описано как нечеткая переменная. В процессе оценивания использовалась лингвистическая интерпретации в виде тетрарной шкалы «К-У-Х-О», где уровень N (неудовлетворительно), уровень У (удовлетворительно), уровень X (хорошо) и уровень О (отлично). Предложена методика и исследована возможность использования нечеткой модели для оценки уровня обученности студента. Данный подход доказывает несостоятельность классического оценивания тестируемого, исходя из процента правильно выполненных заданий. Результаты адаптивного тестирования с использованием динамического оценивания нечеткого показателя «Оценка уровня обученности» позволяют уже на 20 этапе завершить тест.

14. В работе разработана методика оценки успешности освоения дисциплины студентом (OY) на основе теории нечетких множеств, позволяющий проводить интегральный учет как количественных (количество вопросов, количество правильных ответов, суммарный балл), так и качественных факторов (освоение на 2 (xl), освоение на 3 (х2), 4 (хЗ) и 5 (х4)), учитывая неопределенность последних. Экспериментально установлено, что применение данного метода оценки успешности освоения дисциплины студентом позволяет точно выставить оценку на любом этапе адаптивного тестирования.

15. В рамках накопительной балльно-рейтинговой системы использование теории нечетких множеств позволяет накапливать баллы в 100-балльной шкале по всем видам учебной работы и формировать итоговый балл в зависимости от максимально возможных баллов, установленных за каждый объем выполненной работы.

16. В настоящее время на рынке программных продуктов существует большое количество контролирующих, обучающих, тестовых систем. Выбрать среди них ИС, удовлетворяющую всем требованиям пользователя, достаточно трудно. С использованием демонстрационных и рабочих версий систем тестирования, документации и литературных источников был составлен предварительный перечень функций (103) ИС тестирования.

Предложенная группировка позволяет выделить общие функции, присущие каждой группе ИС, и индивидуальные, а также сформировать перечень функций (53) для проведения анализа функциональной полноты ИС адаптивного тестирования. Конструктивные особенности создания, применения и выбора дистрибутивных систем и веб-разработок не позволяют провести совместный анализ их функциональной полноты, поэтому данную методику применяли отдельно для каждой из двух групп для оптимального выбора адаптивной ИС тестирования.

17. Была разработана UML-модель ИС адаптивного тестирования. С помощью инструмента Data Modeler переход от логической модели ИС к физической в Rational Rose обеспечивался автоматически. Для построения диаграммы компонентов пакет Сущности ИС адаптивного тестирования был преобразован с помощью встроенного средства Data Modeler в модель базы данных, ориентированную на MySQL 5.5.8. Диаграмма классов пакета Границы ИС адаптивного тестирования была преобразована с помощью инструмента Web Modeler в сайт, т.е. набор станиц и форм. В результате была построена диаграмма компонентов веб-ориентированной ИС адаптивного тестирования.

Созданная в нотации UML-модель ИС адаптивного тестирования позволяет существенно снизить затраты на разработку, модернизацию, модификацию и настройку программной системы, а также повысить потребительское качество программного продукта и поставку ИС в запланированные сроки.

Теоретическая значимость результатов диссертационной работы состоит в создании методического обеспечения для оценки потребительского качества систем тестирования.

Практическая значимость диссертационной работы заключается в разработке инструментального средства для реализации комплекса экономико-математических моделей, позволяющего снизить затраты на оценку характеристик потребительского качества тестовых систем. Разработанные UML-модели дают представление о структуре и динамике ИС, что позволяет разработчикам программного обеспечения реализовать решения по созданию системы тестирования для любого образовательного учреждения, а использование объектно-ориентированных технологий на всех стадиях разработки ИС позволяет осуществить ее программную реализацию и адаптацию с минимальными затратами.

Предложенные автором методы, модели и программный инструментарий позволят образовательным учреждениям повысить потребительское качество разрабатываемых систем тестирования, в том числе использующих веб-технологии, сократить временные и финансовые затраты на проектирование.

ЗАКЛЮЧЕНИЕ

Отказ от устоявшихся традиций и введение традиций (тестирование при приеме в вузы вместо традиционных экзаменов, балльно-рейтинговая система оценивания и т.д.) выводит проблему качества образования в ряд приоритетных государственных и общественных проблем.

В настоящее время в российской системе высшего образования тестирование применяется не только в процессе текущего и итогового контроля знаний студентов, но и в качестве механизма оценки уровня образования выпускников. В рамках данного направления тестирование зачастую используется в трех случаях: при регулярных проверках остаточных знаний у студентов, проводимых вузами самостоятельно; при проведении комплексных междисциплинарных экзаменов; а также в ходе государственной аттестации вузов.

В диссертационной работе дано новое решение актуальной для вузов задачи: разработка методического и инструментального обеспечения для оценки потребительского качества систем тестирования. В процессе содержательного и количественного анализа тестов и тестовых систем разработаны и реализованы рекомендации по совершенствованию процессов их создания и применения.

Список литературы диссертационного исследования кандидат экономических наук Жилина, Елена Викторовна, 2012 год

1. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь. М.: ИПК Издательство стандартов, 2001.

2. Закон РФ № 3266-1 от 10.06.1992. Об образовании. М., 1992. - (в ред. Федеральных законов до 03.12.2011, N З8З-ФЗ).

3. Положение об организации учебного процесса в Ростовском государственном экономическом университете (РИНХ) с использованием зачетных единиц (кредитов) и балльно-рейтинговой системы. Ростов-на-Дону: РГЭУ (РИНХ), 2011.

4. Аванесов B.C. Композиция тестовых заданий. М.: Центр тестирования Минобразования РФ, 2002. - 239 с.

5. Аванесов B.C. Адаптивное обучение: лекции. Электронный ресурс. - Режим доступа: http://athena.wsu.ru/carina/test/lec8.htm.

6. Аванесов В. Item Response Theory: Основные понятия и положения. -Электронный ресурс. Режим доступа: http://testolog.narod.ru/Theory59.html.

7. Автоматизированные информационные технологии в экономике: учебник / Под ред. проф. Титоренко Г.А. М.: ЮНИТИ, 1998.

8. Автоматизированные информационные технологии в экономике: учебник /М.И. Семенов, И.Т. Трубилин, В.И. Лайко, Т.П. Барановская; Под общ. ред. И.Т. Трубилина. М.: Финансы и статистика, 2000. - 416 с.

9. Айвазян С.А. Прикладная статистика: Моделирование и первичная обработка данных / С.А. Айвазян, И.С. Енюков, Л.Д. Мешалкин. М.: Финансы и Статистика, 1983. - 471 с.

10. Алфимов Р.В., Золотухина Е.Б. Моделирование данных с использованием моделя Rational Rose Data Modeler. - Электронный ресурс. -Режим доступа: http://www.info-system.ru/designing/methodology/rational/ rationaldatamodeler.htm.

11. Андреев A.A., Солдаткин В.И. Дистанционное обучение: сущность, технология, организация. М.: МЭСИ, 1999.

12. Барановская Т.П. Информационные системы и технологии в экономике / Т.П. Барановская, В.И. Лойко, М.И. Семенов. М.: Финансы и статистика, 2005. - 416 с.

13. Белов В.Ю. Структурная организация типового программного обеспечения информационно образовательной среды 00 //Телематика-2002. Тр. Всеросс. научно-методич. конф. - СПб.: СПбГИТМО, ГНИЙ ИТТ «Информика», 2002.

14. Белоусов Е.Ф., Инюшкина Т.А., Самойлова Т.С. Опыт разработки компьютерных тестовых программ // http://ito.edu.ru/2002/ WVI-0-886.html.

15. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. -М.: «Статистика», 1980.

16. Борзенков Д.П. Компьютерная технология обучения: проблемы пользовательского интерфейса // Омский научный вестник. 2001. - Вып. 14. -с. 146-147.

17. Буздова А. А., Семенов И.А. Модели адаптивного тестирования. -Электронный ресурс. Режим доступа: http://www.ast-centre.ru/info/ books/favorits.

18. Буч Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++, 2-е изд./ Пер. с англ. М.: "Издательство Бином", СПб.: "Невский диалект", 1999 . - 560 с.

19. Васильев В.И., Тягунова Т.Н. Культура компьютерного тестирования. Часть IV. Форма тестовой ситуации и формирование теста. М.: МГУП, 2002, 83 с.

20. Вендров A.M. Case-технологии. Современные методы и средства проектирования информационных систем. М.: Финансы и статистика, 1998. -176 с.

21. Вендров A.M. Проектирование программного обеспечения экономических информационных систем: учебник М.: Финансы и статистика, 2002. - 352 с.

22. Вентцель Е.С. Исследование операций: задачи, принципы,методология / Е.С. Вентцель. М.: Наука, главная редакция физика-математической литература,1980. - 208 с.

23. Вентцель Е.С. Теория вероятностей: учеб. для вузов. 5-е изд. стер. -М.: Высш. шк., 1998.

24. Волкова В.Н., Денисов A.A. Основы теории систем и системного анализа. СПб.: Издательство СПбГТУ, 1997. - 510 с.

25. Гениберг Т.В. Тестирование как метод оценки качества образования выпускников. Электронный ресурс. - Режим доступа: http://ast-centre.ru/ books/favorits/262.

26. Горбунова Е.И., Самойлов В.А., Шевченко К.К. Методические рекомендации по созданию тестовых заданий итогового контроля знаний. М.: МЭСИ, 2000.

27. Горелова Г.В. Формализация проблем управления системой образования в контексте формирования человеческого капитала: монография. -Краснодар, 2011. 172 с.

28. Дик В.В. Методология формирования решений в экономических системах и инструментальные среды их поддержки /В.В. Дик. М.: Финансы и статистика, 2000. - 300 с.

29. Долженко А.И. Информационный менеджмент. Моделирование бизнес-процессов: лабораторный практикум / А.И. Долженко, H.A. Тимченко. -Ростов-н/Д.: РГЭУ «РИНХ», 2006. 96 с.

30. Долженко А.И. Управление информационными системами: учебное пособие. Ростов-н/Д.: РГЭУ «РИНХ», 2008. - 197 с.

31. Долженко А.И. Нечеткие модели эффективный инструментарий для анализа потребительского качества информационных систем: монография. -Ростов-на-Дону: РГЭУ (РИНХ), 2008.

32. Долженко А.И. Нечеткие методы и модели оценки потребительского качества веб-ориентированных информационных систем: теория, методология и инструментарий: автореф. на соиск. уч. степ. докт. наук. Ростов-на-Дону: РГЭУ (РИНХ), 2009.

33. Долятовский В.А., Мазур O.A., Мелешко E.H. Измерение и управление качеством подготовки специалистов с высшим образованием. -Ростов-на-Дону-Невинномыск: СКНЦ ВШ РГЭУ - НИЭУП, 2003.

34. Долятовский В.А. Исследование систем управления / В.А. Долятовский, В.Н. Долятовская. Ростов н/Д.: ИКЦ "МарТ", 2003.-256 с.

35. Долятовский В.А., Кузнецов Н.Г., Свиридов O.A. Модели и механизмы эффективного управления учреждениями высшего профессионального образования: процессный подход: учебно-методическое пособие. Ростов-на-Дону, 2006. - 165 с.

36. Долятовский В.А., Долятовский Л.В., Андреев A.C., Сущенко Л.Г., Сущенко С. А, Топилина И.И. Адаптивное управление социально-экономическими системами: монография. Ростов-на-Дону-Отрадная: РГЭУ-ОГИ, 2011. -286 с.

37. Долятовский В.А., Воронцова М.В. Оценки требуемых компетенций выпускников вуза //Международный научный альманах. Выпуск 11.-Таганрог-Актюбинск: Изд. Ступин А.Н., 2011. С.45-52.

38. Домрачев В.Г., Полещук О.М., Ретинская И.В. Нечеткие модели рейтинговых систем оценки знаний Электронный ресурс. Режим доступа: http://www.ict.edu.ru/vconf7flles/tm01627.doc.

39. Доссэ Г.Г. Обучающая функция тестов. // Образование в современной школе. 2001. - №12. - с. 5 - 13.

40. Дударов С. П., Фарфоров А. С. Разработка автоматизированной системы адаптивного тестирования знаний на основе методов теории нечетких множества. Москва: Российский химико-технологический университет им. Д. И. Менделеева, 2003.

41. Дюк В.А. Компьютерная психодиагностика: монография. СПб.,1994.

42. Емельянов A.A. Имитационное моделирование экономических процессов / A.A. Емельянов, Е.А. Власова, Р.В. Дума. М.: Финансы и статистика, 2002. - 368 с.

43. Ефимов E.H. Экспериментальные методы оценки потребительского качества распределенных информационных систем / E.H. Ефимов. Ростов-н/Д.: РГЭУ «РИНХ», 2001. - 219 с.

44. Ефимов E.H. О подходах к структуре адаптивной системы тестирования знаний / Проблемы создания и использования информационных систем и технологий: материалы III межрегион, науч.-практ. конф. 11 декабря2009. Ростов-на-Дону: РГЭУ «РИНХ», 2009.

45. Жилина Е.В. Линейная модель адаптивного тестирования// Проблемы создания и использования информационных систем и технологий: материалы III межрегион, конф. 11 декабря 2009. — Ростов-на-Дону: РГЭУ «РИНХ», 2009.

46. Жилина Е.В. Использование бинарной логистической регрессии для оценки качества адаптивного теста // Вестник Томского государственного университета. Томск, 2010. - № 334. - 0,5 п.л.

47. Зайцева Л.В., Прокофьева Н.О. Модели и методы адаптивногоконтроля знаний. Рига: Рижский технический университет.

48. Зуева M.JI. Возможности использования адаптивной системы обучения для формирования ключевых компетенций \\ Педагогика и психология. Электронный ресурс. - Режим доступа: www.yspu.yar.pdf.

49. Игнатова О. А. Система оценки качества образования в образовательном учреждении: практический опыт, перспективы. Электронный ресурс. Режим доступа: http://festival.lseptember.ru/ articles/510804.

50. Иллюстрированный самоучитель по SPSS. Электронный ресурс. -http://lib.qrz.ni/node/l 1329.

51. Инструментальные средства объектно-ориентированной разработки программных систем. Электронный ресурс. - Режим доступа: http://guap.ru/ dept04/caf46/textbooks/oop/oop4l 1 .htm.

52. Интерактивный инструментарий анализа качества и эффективности применения тестов в учебном процессе РГЭУ «РИНХ»: отчет по НИР № 2/07-вн / Руководитель Е.Н.Ефимов. Ростов-на-Дону, 2007.

53. Интернет-экзамен в сфере профессионального образования. -Электронный ресурс. Режим доступа: http://www.fepo.ru.

54. Ильченко O.A. Внедрение e-learning в отечественных вузах: миф или реальность? // Платное образование. 4(42). - 2006. - С.36-38.

55. Иродов М.И., Разумов C.B. Создание системы управления качеством подготовки специалистов в ВУЗе // Университетское управление. 2003. - № 2(25).

56. Искандерова А.Б. Проектирование адаптивных контрольно-обучающих тестов для студентов бакалавриата в техническом вузе: автореф. на соик. канд. педагог, наук. Ижевск, 2011.

57. Калугян К.Х. Системы тестирования в вузе как инструмент управления учебным процессом (на примере дисциплины «Экономическая информатика»): дисс. на соиск. уч. степ. канд. наук. Ростов-на-Дону: РГЭУ (РИНХ), 1999.

58. Калянов Г.Н. Моделирование, анализ, реорганизация и автоматизация бизнес-процессов / Г.Н. Калянов. М.: Финансы и статистика, 2006.-240 с.

59. Канивец П.И. Модели и методы оценки качества подготовки и повышения конкурентоспособности специалистов: диссер. на соиск. уч. степ, канд. эконом, наук. Новочеркасск: ЮРГТУ (НПИ), 2004.

60. Касьянова Н.Е. Создание системы компьютерного контроля как результат новых информационных технологий в обучении // http://ito.edu.ru/200 l/ito/VI/VI-0-31 .html

61. Качалов В.А. Проблемы управления качеством в вузах // Стандарты и качество. 2000. - № 10. - С. 96 - 100.

62. Кватрани Т. Визуальное моделирование с помощью Rational Rose 2002 и UML / Т. Кватрани. М.: Вильяме, 2003. - 268 с.

63. Колпаков A.B., Захаров A.A. Анализ модели G.Rasch методом численного эксперимента. Электронный ресурс. - Режим доступа: http://kolsarat.chat.ru/ DOKLAD4.htm.

64. Компьютеризованное адаптивное тестирование. Электронный ресурс. - Режим доступа: http://acies.ru/psy/ComputerizedAdaptive Testing.htm.

65. Коновалов П. Стандарты и технологии E-learning \\ Электронный университет: Международный консорциум.

66. Корольков Ю.Д. Сводная оценка качества компьютерных обучающих систем. Электронный ресурс. - Режим доступа: http://www.nsu.ru/archive/ coni7nit/96/sect 1 /node9. html.

67. Котлярова H.A. Экономико-математические методы и модели оценки потребительского качества информационных систем и технологий в образовательном процессе: дисс. на соиск. уч. степ. канд. наук. Ростов-на1. Дону: РГЭУ (РИНХ), 2009.

68. Кречетников К.Г. Методология проектирования, оценки качества и применения информационных технологий обучения. М.: Госкоорцентр, 2001.

69. Кумсков М. Унифицированный язык моделирования (UML) и его поддержка в Rational Rose 98ьСА8Е-средстве визуального моделирования. -Электронный ресурс. Режим доступа: http://www.interface.ru/public /990804/uml4b.htm.

70. Круглов В.В., Дли М.И., Голунов Р.Ю. Нечеткая логика и искусственные нейронные сети. М.: Физматлит, 2001. - 211 с.

71. Леоненков A.B. Нечеткое моделирование в среде MATLAB и fuzzyTECH. Спб.: БХВ-Петербург, 2005.

72. Леоненков A.B. Самоучитель UML. Электронный ресурс. - Режим доступа: http://khpi-iip.mipk.kharkiv.edu/ Hbraiy/case/leon/gl3/gl3 .htm.

73. Липаев B.B. Качество программного обеспечения. М.: Финансы и статистика, 1983.-263 с.

74. Лобачев С.Л., Поляков A.A. Универсальная инструментальная информационно-образовательная среда системы открытого образования Российской Федерации. М.: ИЦПКПС, 2001.-40 с.

75. Лобачев С.Л., Солдаткин В.И. Дистанционные образовательные технологии: информационный аспект. М.: МЭСИ, 1998.

76. Лобачев С.Л. Корпоративная информационная среда сетевого дистанционного образования основа образовательной среды вуза в условиях рынка // Дистанционное образование. - 1998. - №1.

77. Лобачев С.Л. Сетевое дистанционное образование в МЭСИ // Мир INTERNET. 1998. - № 7-8.

78. Лопатников Л.И. Экономико-математический словарь: словарь современной экономической науки / Под ред. Г.Б.Клейнера. М.: Дело, 2003.

79. Майоров А.И. Тесты и их виды // Школьные технологии. 1998. -№4.-с. 176-189.

80. Майер P.A., Колмакова Н.Р. Статистические методы в психологопедагогических и социологических исследованиях: Учебное пособие. 4.1. -Красноярск, 1997.

81. Маклаков C.B. Bpwin и Erwin. CASE-средства разработки информационных систем. -М.: ДИАЛОГ-МИФИ, 1999. 256 с.

82. Маслак A.A., Бобрышев Е.А., Анисимова Т.С., Пушечкин Н.П. Исследование влияния числа дистракторов на точность оценивания уровня знаний // Развитие системы тестирования в России: тезисы докладов III Всерос. научно-методич. конф. М., 2001. - С. 204.

83. Минин М.Г., Стась Н.Ф., Жидкова Е.В. Статистический анализ качества тестов, применяемых для контроля знаний по химии \\ Известия Томского политехнического университета. Томск, 2007. - Т. 310. - № 1.

84. Мирошниченко И.И. Формализованный анализ и моделирование информационно-образовательной среды учебного подразделения вуза: дисс. на соиск. уч. степ. канд. наук. Ростов-на-Дону: РГЭУ (РИНХ), 2009.

85. Михайлычев Е.А. Разработка и адаптация в педагогической практике диагностических методик // Школьные технологии. 2002. - №4. - С. 126 - 132.

86. Новикова Е.Ю. Контроль знаний учащихся при помощи тестов // Образование в современной школе. -2002. №3. - С. 49 - 52.

87. Нейман Ю.М. О шкалировании результатов централизованного тестирования в 2001 году // Вопросы тестирования в образовании. 2001. - № 1. - С. 94-106.

88. Овчинников В.В. Анализ внутренней валидности тестовых заданий аттестационного тестирования 2002 года. // Развитие системы тестирования в России: тезисы докладов всерос. научно-методич. конф. М., 2002. - С. 243244.

89. Овчинников В.В. Оценивание учебных достижений учащихся при проведении централизованного тестирования. М.: Век книги, 2001. - 27 с.

90. Ойхман Е.Г. Реинжиниринг бизнеса: Реинжиниринг организаций и информационные технологии / Е.Г. Ойхман, Э.В. Попов. М.: Финансы и статистика, 1997. - 336 с.

91. Паклин H. Логистическая регрессия и ROC-анализ математический аппарат. - Электронный ресурс. - Режим доступа: http://www.basegroup.ru /library/analisys/ regression/logistic.

92. Переверзев В.Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов. М.: НМЦ СПО Минобразования РФ, 1998.-152 с.

93. Преподавание в сети Интернет: учебное пособие / Под ред. В.И.Солдаткина.- М.: Высшая школа, 2003. 792с.

94. Раднер JI. Вопросы, которые нужно задать, оценивая качество теста // Конспект руководства «Standards for Educational and Psychological Testing». -Электронный ресурс. Режим доступа: http://courier.com.ru/scores/questions.htm.

95. Разумовский Д. Технологии разработки контента \\ МЭСИ Электронный университет. НИИ Управление знаниями.

96. Растрыгин JI.A. Адаптация сложных систем. Методы и приложения. -Рига: «Зинатне», 1981.

97. Репин В.В. Процессный подход к управлению. Моделирование бизнес-процессов / В.В. Репин, В.Г. Елиферов. М.: Стандарты и качество, 2006.-408 с.

98. Румянцева Н.М. Проблемы адаптивного тестирования и адаптации тестов к национальным и личностным особенностям тестируемых. -Электронный ресурс. Режим доступа: http://www.testor.ru/files/ Conferens/problsovtest/ Probladapttest.doc.

99. Садков В.Г., Силаева О.А., Брехова Т.Б. Система управления качеством высшего образования в регионах России. Электронный ресурс. -Режим доступа: http://quality.eup.ru/MATERIALY5/sadkov.html.

100. Сахарчук Е. И. Организационный механизм управления качеством подготовки специалистов в педвузе // Университетское управление: практика и анализ. 2004. - № 3(31). С. 63-67.

101. Сергеев В.В. Адаптивное тестирование в системах дистанционногообучения // Наука и образование. 2007. - №4. - Электронный ресурс. - Режим доступа: http://technomag.edu.ru/doc/65577.htm.

102. Симанков B.C., Луценко Е.В., Лаптев В.Н. Системный анализ в адаптивном управлении: монография. Электронный ресурс. Режим доступа: http://eup.ru/Documents/2004-09-13/lB2AE.asp

103. Смирнова Г.Н. и др. Проектирование экономических информационных систем: учебник /Т.Н. Смирнова, A.A. Сорокин, Ю.Ф. Тельнов; Под ред. Ю.Ф. Тельнова. М.: Финансы и статистика, 2002. - 512 с.

104. Соколов B.C. Оценка качества подготовки специалистов в российской высшей школе. Электронный ресурс. - Режим доступа: http://www.portalus.ru/modules/shkola/rusreadme.php.

105. Соловей Е.В. Методы и модели интеллектуального автоматизированного контроля знаний. Электронный ресурс. - Режим доступа: http://www.ref.by/refs/67/26254Zl .html.

106. Тельнов Ю.Ф. Интеллектуальные информационные системы в экономике: учеб. пособие для вузов. 3-е изд., расш. и дораб. - М.: СИНТЕГ,2002.-316 с.

107. Тестология в России: модели и методы тестологии. Электронный ресурс. - Режим доступа: http://www.testor.ru.

108. Тищенко E.H. Анализ защищенности экономических информационных систем: монография /РГЭУ «РИНХ». Ростов-на-Дону,2003.-192 с.

109. Трофимов С. UML диаграммы в Rational Rose. Электронный ресурс. - Режим доступа: http://www. caseclub.ru/articles/rose2.html.

110. Ткачев А.Н. Оценка и прогнозирование потребности предприятия в выпускниках вузов // Вестник Южно-Российского государственного технического университета (НПИ) /Социально-экономические науки. 2011. -№ 1. - С.49-55 (в соавторстве).

111. Ткачев А.Н. Оптимальное проектирование адаптивных траекторий подготовки специалистов в корпоративной среде обучения / Креативнаяэкономика. 2011. - № 1. - С. 49-55 (в соавторстве).

112. Тягунова Т.Н. Философия и концепция компьютерного тестирования. М: МГУП, 2003. - 246 с.

113. Харрингтон Дж. Оптимизация бизнес-процессов: документирование, анализ, управление, оптимизация / Дж. Харрингтон, К.С. Эсселинг, Х.В. Нимвеген. СПб.: АЗБУКА, 2002. - 324 с.

114. Хубаев Г.Н. О построении шкалы оценок в системах тестирования // Высшее образование в России. -1996. № 1. - С. 122-125.

115. Хубаев Г.Н. Сравнение сложных программных систем по критерию функциональной полноты // Программные продукты и системы. -1998. №2. -С. 6-9.

116. Хубаев Г.Н. Методика экономической оценки потребительского качества программных средств // Программные продукты и системы (SOFTWARE and SYSTEMS). 1995. - № 1. - С. 2-8.

117. Хубаев Г.Н. Сложные системы: экспертные методы сравнения // Известия ВУЗов. Северо-Кавказский регион. Общественные науки. 1999. -№3. - С. 7-23.

118. Хубаев Г.Н. Экономика проектирования и применения банков данных / Г.Н. Хубаев. Ростов н/Д.: РИСХМ, 1989. - 69 с.

119. Хубаев Г.Н. Построение имитационных моделей для оценки трудоемкости деловых процессов с использованием языка UML: Препринт / Г.Н. Хубаев, С.М. Щербаков. -Ростов-н/Д.: РГЭУ «РИНХ», 2004. 80 с.

120. Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология). М: Исследовательский центр проблем качества подготовки специалистов, 2001. - 165 с.

121. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002. - 432 с.

122. Шафранов-Куцев Г. Ф., Деревнина А. Ю. Качество образования в стратегии управления классическим университетом. Электронный ресурс. -Режим доступа: http://www.ecsocman.edu.ru.

123. Шмелев А.Г., Ларионов А.Г. Адаптивное тестирование знаний в системе «Телетестинг» // Информационные технологии в образовании: IX междунар. конф.-выставка. Часть II. М.: МИФИ, 1999. С.405.

124. Шполянская И.Ю. Объектные методы моделирования процессов управления в бизнес-системах с использованием UML и Rational Rose: Учебное пособие/ РГЭУ «РИНХ». Ростов н/Д., 2004. - 110 с.

125. Шполянская И.Ю. Реализация модели гибкого развития малого предприятия с помощью адаптивного механизма принятия стратегических решений // Научный поиск: По страницам докторских диссертаций/ РГЭУ (РИНХ). Ростов-на-Дону, 2003.

126. Шполянская И.Ю. Имитационное моделирование бизнес-процессов и систем: научно-практическое пособие / И.Ю. Шполянская. Ростов-н/Д.: РГЭУ «РИНХ», 2005. - 224 с.

127. Шухардина В.А. Квалиметрическая технология конструирования адаптированных тестовых измерителей. Электронный ресурс. - Режим доступа: http://www.vstu.vinnica.Ua/ies2000/doclad/b/135.htm.

128. Щербаков С.М. Экономико-математические модели процессов использования интернет-приложений: методология построения и инструментарий разработки: дисс. на соиск. уч. степ. докт. наук. Ростов-на-Дону: РГЭУ (РИНХ), 2010.

129. Янченко С.И. Математическая модель оценки результатов тестирования // Развитие системы тестирования в России: тезисы докладов всерос. конф. М., 2000. - Ч. 4. - С. 54-56.

130. Cizek Gregory J. Filling in the Blanks Putting Standardized Tests to the Test. - The Thomas B. Fordham Foundation. -1998. - № 10.

131. Chen, Y.-Y., Ankenmann, R. D. Effects of practical constraints on item selection rules at the early stages of computerized adaptive testing // Journal of Educational Measurement. 2004. -№41.-P. 149-174.

132. Gushta M. M. Standard-setting issues in computerized-adaptive testing // Paper Prepared for Presentation at the Annual Conference of the Canadian Societyfor Studies in Education. Halifax, Nova Scotia. - 2003.

133. Hambelton R.K., Swaminathan H., Rogers H.J. Fundamentals of Item Response Theory, Sage publications, 1991.

134. Hornke, L. F. Benefits from computerized adaptive testing as seen in simulation studies //European Journal of Psychological Assessment. 1999. - 15(2). -P. 91-98.

135. Kim-Kang, G., Weiss. D. J. Adaptive measurement of individual change // Journal of Psychology. 2008. - 216(1). - P. 49-58.

136. Linden W.J., Hambelton R.K. Handbook of modern item response theory. -New York, 1997.

137. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N J. Lawrence Erlba- um Ass., Publ., 1980. - 266 pp.

138. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Copenhagen, Denmark: Danish Institute for Educational Research, 1960. -250 pp.

139. Rational Rose. Электронный ресурс. - Режим доступа: http://www.interface.ru/ rational/rosemain.htm.

140. Scalise К., Wilson M. Bundle models for computerized adaptive testing in e-learning assessment // Proceedings of the 2007 GMAC Conference on Computerized Adaptive Testing. 2007.

141. Triantafillou E. Computerized Adaptive Test Adapting to What? // Proceedings of the Informatics Education Europe II Conference.- South-East European Research Center, 2007.

142. Wang L.X. Generating Fuzzy Rules by Learning from Examples, IEEE Transactions on System // Man and Cybernetics. 1992. - Vol. 22. - Nr. 6. - P. 1414-1427.

143. Weiss D. J. The stratified adaptive computerized ability test. -Minneapolis: University of Minnesota, Department of Psychology, Psychometric Methods Program. -1973.

144. Weiss D.J. New Horizons in Testing: Latent Trait Test Theory and