Модели оценки качества тестовых материалов на этапе разработки тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Окладникова, Светлана Владимировна

• Окладникова, Светлана Владимировна
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Окладникова, Светлана Владимировна

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ ПОДХОДОВ И МЕТОДОВ ОЦЕНКИ КАЧЕСТВА ТЕСТОВЫХ МАТЕРИАЛОВ:.

1.1. Особенности разработки тестовых материалов.

1.1.1. Методы формирования содержания тестовых материалов.

1.1.2. Требования, предъявляемые к содержанию тестовых материалов.

1.1.3. Конструктивные особенности формы тестовых заданий.

1.1.4. Основные компоненты содержания тестовых заданий.

1.2. Показатели качества тестовых материалов.19'

1.2.1. Показатели качества тестов.

1.2.2. Показатели качества тестовых заданий.

1.3. Методы оценкн качества тестовых материалов.

1.3.1. Экспериментально — статистические методы.

1.3.2. Педагогические методы.

1.4. Модели оценкн читабельности текстов.

1.4.1. Определение термина «читабельность».

1.4.2. Критерии формальной оценки читабельности.

1.4 3. Методы оценки читабельности текстов.

1.5. Анализ автоматизированных систем .тестирования.

1.6. Выводы.

ГЛАВА 2. РАЗРАБОТКА МОДЕЛЕЙ КАЧЕСТВА ТЕСТОВЫХ МАТЕРИАЛОВ.

2.1. Выбор методологии оценкн уровня читабельности тестовых материалов.

2.2. Разработка номенклатуры единичных показателей.

2.3. Нормирование единичных показателей на основе вероятностно — статистических методов.

2.3.1. Получение и анализ фактических данных нормируемых показателей.

2.3.2. Расчет нормируемого показателя «количество формул» с учетом сложности формул.

2.4. Формирование системы весовых коэффициентов единичных показателей на основе экспертных оценок.

2.5. Комплексная оценка/читабельности тестовых материалов с учетом присутствующих в содержании тестовых заданий компонентов.

2.6. Построение корреляционно - регрессионной модели оценки трудности тестовых заданий на основе их .читабельности.

2.6.1. Основные положения регрессионного анализа.

2.6.2. Расчет показателя «трудность» тестового задания.

2 6 3. Построение корреляционно - регрессионной модели на основе комплексного показателя читабельности.

2.6.4. Построение корреляционно —регрессионной модели на основе единичных показателей читабельности.

2.7. Выводы.

ГЛАВА 3. АВТОМАТИЗАЦИЯ ПРОЦЕССА ОЦЕНКИ И КОНТРОЛЯ КАЧЕСТВА ТЕСТОВЫХ МАТЕРИАЛОВ НА ЭТАПЕ РАЗРАБОТКИ.

3.1. Организация технологического процесса оценкн и контроля качества тестовых материалов в вузе.

3.2. Разработка модели процесса автоматизированной оценки и контроля качества тестовых материалов.

3.3. Разработка автоматизированной системы тестирования.

3.3.1.Архитектура автоматизированной системы тестирования.

3.3.2. Информационно — логическая модель системы.

3.3.3. Работа системы в локальном режиме.

3.3.4. Работа системы в сетевом режиме.

3.4. Выводы.

ГЛАВА 4. ОЦЕНКА КАЧЕСТВА РАЗРАБОТАННЫХ МОДЕЛЕЙ.

4.1. Требования, предъявляемые к качеству математических моделей.

4.2. Анализ качества модели комплексной оценки читабельности тестовых материалов.

4.2.1. Определение точности модели.

4.2.2. Определение адекватности модели.

4.3. Анализ качества моделей оценки трудности тестовых заданий.104.

4.3.1. Определение точности моделей.

4.3.2. Определение адекватности моделей.

4.4. Оценка эффективности подготовки тестовых материалов с использованием системы АСТ-ДО.

4.5. Выводы.

Введение диссертации (часть автореферата) на тему «Модели оценки качества тестовых материалов на этапе разработки»

В настоящее время в вузах электронное тестирование, как метод оценки уровня знаний учащихся, приобретает все большую популярность. Это обусловлено' изменением системы высшего образования в рамках реализации основных принципов Болонского процесса, в частности с появлением новых подходов к оценке качества образовательного процесса в вузе [34, 35, 37, 38, 68, 73, 100].

В странах, использующих высокоэффективные технологии и методики диагностики качества образования, разработкой, проверкой и тиражированием контрольных тестовых материалов* (ТМ) занимаются специальные организации, например, в США - Educational Testing Service ETS (www.ets.org), в Польше - Ценр тестирования^ (http://oke.krakow.pl), в Великобритании* - The Qualifications and Curriculum Authority QCA (http://www.qca.org.uk), в Белоруссии - Республиканский институт контроля знаний (http://rikz.unibel.by), в Казахстане - Национальный центр государственных стандартов, образования и тестирования (http://naukakaz.kz/ru), в России - Федеральный институт педагогических измерений (http://www.fipi.ru).

Несмотря на растущую популярность государственной системы тестирования, в России до сих пор существует несогласованность в работе по созданию ТМ [14, 41, 65, 105]. Долгое время этому способствовало отсутствие теоретической основы (почти вся содержательная литература по тестированию была иностранной), которая позволяла бы не только написание авторских тестов, а построение тестов с единых позиций. На сегодняшний день большую часть используемых в учебном процессе ТМ составляют материалы, разработанные преподавателями учебных заведений в рамках преподаваемых ими дисциплин [59]. Популярность их использования обусловлена, в первую очередь, адаптивностью по отношению к преподаваемому материалу, ориентацией на педагогические потребности небольшого количества учащихся и т.п.

Структурной составляющей ТМ являются тестовые задания? (ТЗ), содержание которых, как правило, формируется преподавателями* вручную и целиком зависит от индивидуальных особенностей автора; например, грамотности, стиля изложениями т.п., а при подготовке тестовых вопросов для проведения ) электронного * тестирования и от уровня- компьютерной грамотности. Отсутствие у многих преподавателей знаний, в? области тестологии приводит к нарушению; требований,, предъявляемых^ к-; структуре, содержанию и оформлению ТЗ согласно международному стандарту IMS QTI и системы менеджмента качествам применительно к;, разработке, производству и реализации тестов и программных продуктов [102].

Традиционно в качестве основных: критериев качества ТМ рассматривают валидность и надежность, расчет количественных значений которых осуществляется с использованием; экспериментально -статистических методов, основанных на эмпирической обработке результатов тестирования испытуемых; [1, 2, 3, 9, 10, 11]. Трудности, связанные с применением« данных методов в вузах обусловлены:

• необходимостью^ наличия большого объема статистической выборки результатов тестирования, достаточного для получения достоверных данных анализа;

• потерей актуальности в содержании тестовых материалов,, вызванной длительным периодом накопления: необходимой статистической информации;

• отсутствием диагностики причины «выбраковки» ТЗ;

• слабым владением преподавателями; — предметниками методами и средствами анализа результатов тестирования;

• наличием специалиста в области тестологии, владеющего методами интерпретации полученных результатов анализа;

• наличием специальных программ (или программных модулей);

В; результате возникает потребность в разработке методов автоматизированной оценки качества ТЗ до начал их практического использования; которые позволили^ бы повысить как качество^ самих тестовых заданий; так и эффективность, процесса создания- ТМ. Одним из возможных способов решения поставленной задачи« является оценка читабельности содержания ТМ, основанная* на\ анализе; количественных показателей формулировок ТЗ, характеризующих стиль изложения? материала м степень его шонимания целевой аудиторией;

Объектом< исследования является- процесс разработка и: оценки-качества ТМ на этапе их создания.

Предметом исследования являются модели оценки* качества ТМ в: процессе разработки и ¡ способы автоматизации этого процесса:

Цель работы: повышение эффективности процесса? разработки ТМ с оценкой их качества до начала практического использования на , основе исследования; моделей и последующей- автоматизации процесса подготовки-ТМ.

Для достижения поставленной цели были выделены следующие задачи:

1) провести анализ методологических подходов оценки качества ТМ, обобщить и систематизировать существующие" методы оценки восприятия текстов и выбрать те, которые в наибольшей степени соответствуют цели исследования;

- 2) установить совокупность единичных показателей, характеризующих основные свойства содержания ТЗ и позволяющих количественно оценить: восприятие ТМ, рассчитать их нормированные значения и определить вклад каждого показателя в комплексную оценку;

3) разработать; модель комплексной^ оценки читабельности ТМ, учитывающую специфику содержания предметной области ТЗ и присутствующие в их формулировках компоненты (текст, формулы, цифры и т.п.); построить шкалу диапазонов значений комплексного показателя для определения уровня читабельности ТМ;

4)< разработать корреляционно - регрессионные модели- оценки «трудности» ТЗ на основе показателей читабельности до начала их использования в учебном процессе; проверить адекватность разработанных моделей и оценить/точность полученных с их помощью данных;

5) разработать функциональную модель технологического процесса оценки и контроля качества ТМ до начала их практического применения;

6) разработать алгоритмы и комплекс программного обеспечения для автоматизации критериальной оценки читабельности и трудности ТМ на этапе разработки, проверить их эффективность.

Методы исследования. Для решения поставленных задач были использованы методы тестологии, квалиметрии, теории вероятности и математической статистики, математического моделирования, теоретические основы структурного анализа и методологии проектирования информационных систем.

Научная новизна работы. В диссертации разработаны и вынесены на защиту следующие основные положения:

1) Существенно расширена система единичных показателей читабельности, позволяющая с учетом конструктивных особенностей 1 тестовых заданий и компонентов, присутствующих в формулировках, оценивать их качество на этапе разработки.

2) Впервые рассчитаны нормированные значения единичных показателей оценки читабельности русскоязычных тестовых материалов на основе вероятностно — статистических методов.

3) Разработана модель комплексной оценки читабельности тестовых материалов и построена шкала диапазонов определения уровня читабельности.

4) Впервые разработаны корреляционно - регрессионные модели оценки трудности тестовых заданий, позволяющие на основе показателей читабельности предположить качество тестовых заданий по критерию «трудность» до начала их практического использования.

5) Разработаны функциональные и информационно - логические модели процесса организации оценки и контроля качества тестовых материалов на этапе их создания, отличающиеся-применением международных стандартов системного структурного анализа IDEF и реализованные в автоматизированной системе тестирования.

Практическая. ценность работы- заключается^ в создании h автоматизированной системы тестирования, обеспечивающей автора автоматизированной поддержкой в отношении контроля качества ТМ в процессе их разработки, позволяющей повысить эффективность процесса разработки ТМ и обеспечить более качественную их подготовку за счет сокращения числа «отбракованных» ТЗ в среднем в,2 раза.

Реализация результатов работы. Разработанная система тестирования (ACT-ДО) была внедрена в Астраханском государственном университете в -рамках международного - проекта JEP 250702004 «Модернизация образования в. сфере ИКТ в, университетах юга России» (MEICTRU), в Пензенском государственном университете для организации учебного процесса на кафедре КиПРА, в Бийском филиале Современной Гуманитарной академии в рамках реорганизации учебного процесса в связи с переходом к блочно — модульному обучению по Болонскому соглашению.

Апробация работы. Основные положения и результаты диссертационной работы докладывались на III Международной научной конференции «Россия и Восток. Обучающееся общество и социально-устойчивое развитие каспийского региона» (Астрахань, 2005 г.); Всероссийской научно-практической конференции "Проблемы информатизации образования: региональный аспект" (Чебоксары, 2006 г.); Всероссийской научной конференции «Инновационные технологии в управлении, образовании, промышленности «АСТИНТЕХ-2007» (Астрахань, 2007 г.); Международной конференции «Компьютерные науки и информационные технологии» (Саратов, 2007 г.); II-nd International Conference on Modern (е-) Learning (Varna, Bulgaria, 2007 г.); 1-ой

Международной научно-технической конференции «Эволюция системы научных коммуникаций ассоциации университетов прикаспийских государств» (Астрахань, 2008 г.); научных конференциях профессорско-преподавательского состава Астраханского государственного университета (Астрахань, 2005 - 2008).

Публикации. По теме диссертации опубликовано 12 печатных работ, в том числе 4 статьи в научно - технических изданиях, рекомендованных ВАК РФ; получено 2 свидетельства об официальной регистрации программ для ЭВМ.

Структура и объем диссертации.

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Общий объем работы 184 страницы машинописного текста, который включает 112 страниц основного текста, 26 рисунков, 29 таблиц, 11 приложений и список литературы из 115 наименований.

Заключение диссертации по теме «Управление в социальных и экономических системах», Окладникова, Светлана Владимировна

4.5. Выводы $

Основными требованиями-к качеству разработанных моделей являются требование точнрсти и адекватности. Точности определяется путем , сравнительной» оценки данных, полученных с помощью модели в результате эксперимента и данных, которые были приняты в качестве истинных.

При анализе точности модели комплексной оценки читабельности в качестве истинных были приняты оценки экспертов, при анализе моделей оценки трудности ТЗ - значения трудности, рассчитанные путем статистической обработки сырых баллов, полученных в ходе эксперимента методами современной теории тестирования.

Анализ точности в отношении моделей комплексной оценки читабельности ТМ показал, что наиболее точно читабельность оценивается на основе модели (£2, состоящей из следующего набора показателей: С], С2, Сз, С4 (4,55 %). Наименее точно читабельность оценивается на основе модели 0,4, состоящей из набора показателей: С1, Сг, С3, С4 Сю (7,81 %). При этом наиболее точно оцениваются ТЗ, имеющие уровень читабельности «легкий» (6,25 %), а с наименьшей точностью оцениваются ТЗ, имеющие уровень - «нормальный» (7,81 %).

Анализ точности в отношении моделей>оценки трудности ТЗ.на основе комплексной оценки читабельности показал, что наиболее точно трудность оценивается на основе модели (6,3 %). Наименее точно - на основе модели У((¿4) (10,3%). Наиболее точно оцениваются ТЗ, имеющие уровень трудности «легкий» (6,8 %), а с наименьшей« точностью оцениваются ТЗ, имеющие уровень - «нормальный» (10,3 %).

Анализ точности в отношении моделей оценки трудности ТЗ на основе единичных показателей читабельности показал, что наиболее точно трудность оценивается на основе модели Г/ (10,3 %). Наименее точно — на основе модели У2. (14,7 %). Наиболее точно оцениваются ТЗ, имеющие уровень трудности '«легкий» (11,4 %), а с наименьшей точностью оцениваются ТЗ, имеющие уровень - «нормальный» (14,7 %).

Оценка адекватности выполнялась на основе критериев Стьюдента (/) и Фишера (К). Табличные значения критериев Стьюдента и Фишера были определены при значении доверительной вероятности Р=0,95. В результате анализа было установлено, что фактические значения по обоим критериям удовлетворяют условиям достоверности следовательно, гипотеза о случайном расхождении средних значений и дисперсий в исследуемых выборках подтверждается, а полученные модели адекватны.

Внедрение АСТ-ДО в учебный процесс различных вузов позволило сократить время, необходимое на разработку ТМ. Реализованная в системе автоматизированная поддержка в отношении контроля грамматических, технических и методических ошибок позволила сократить число «отбракованных» ТЗ.

ЗАКЛЮЧЕНИЕ

В ходе теоретических и экспериментальных исследований, выполненных в диссертационной работе, получены следующие научные и практические результаты:

1) Анализ существующих подходов и методов оценки, качества тестовых материалов позволил выявить основные недостатки и факторы, затрудняющие их использование при оценке качества ТМ в вузе и сделать вывод о необходимости разработки методов, позволяющих оценивать качество ТМ в процессе их подготовки. В качестве решения* было предложено оценивать качество ТМ на основе их читабельности, которая рассчитывается по количественным характеристикам, например, общего количества слов, средней длины предложений и средней длины слов.

2) С учетом конструктивных особенностей? ТЗ номенклатура единичных^ , показателей, используемая в существующих моделях оценки читабельности, была расширена с 2 до 10. Нормированные значения рассчитаны для. двух наборов единичных показателей с использованием вероятностно -статистических методов. Вклад каждого единичного показателя в комплексную оценку определен с учетом экспертных оценок.

3) Разработана модель комплексной оценки читабельности тестовых материалов. Построена шкала диапазонов для определения уровня читабельности тестовых материалов. Проведена оценка качества модели и доказана ее адекватность.

4) Разработаны корреляционно — регрессионные модели оценки трудности тестовых заданий, позволяющие на основе показателей читабельности априорно предположить трудность тестового задания. Проведена оценка качества моделей и доказана их адекватность.

5) Разработана функциональная модель технологического процесса оценки и контроля качества тестовых материалов, имеющая дополнительный вид контроля - технический, целью которого является организация проведения оценки и контроля качества тестовых материалов до начала их практического применения.

6) По результатам диссертационного исследования разработана автоматизированная система тестирования, которая была внедрена в учебный процесс в Бийский филиал Современной Гуманитарной академии, на кафедре КиПРА Пензенского государственного университета и в Астраханском государственном университете. Внедрение ACT-ДО в целом позволило повысить эффективность процесса разработки и оценки качества тестовых материалов, используемых в учебном процессе данных вузов.

Список литературы диссертационного исследования кандидат технических наук Окладникова, Светлана Владимировна, 2009 год

1. Hambelton, R.K. Fundamentals of Item Response Theory Text. / R.K. Hambelton, H. Swaminathan, H.J. Rogers. Sage publications, 1991.

2. Linden, W.J. Handbook of modern item response theory. Text. / W J. Linden, R.K. Hambelton New York, 1997.

3. Lord, F.M. Statistical Theories of Mental Test Scores Text. / F.M. Lord, M. Novic. Mass.: Addison-Wesley Publ. Co. Reading, 1968.

4. On-line тесты Электронный ресурс. / Тест-центр — Электронный данные. Режим доступа: test-center.narod.ru//, свободный: - Заглавие с экранам - Яз. рус.

5. Rasch,. G. Probabilistic Model for Some Intelligence and Attainment Tests Text. / G. Rasch. Chicago: Univ. of Chicago Press, 1980.

6. Russian Morphological Dictionary Электронный ресурс. / Организация — Электронные данные. 2007. - Режим доступа: http: //www.geocities.com/SiliconVairey/Bit/1116/, свободный. - Заглавие с экрана. -Яз. рус., анг.

7. Thorndike, R.L. Educational measurement. Text. /R.L. Thorndike -Washington, DC: American Council of Education, 1971.

8. Wordy Tabulator v2.2 Электронный ресурс. / Русская виртуальная библиотека. — Электронные данные. 2003. - Режим доступа: http://www.rvb.ru/soft/index.html, свободный. - Заглавие с экрана. - Яз. рус.

9. Wright, B.D. Best Test Desighn. Text. / B.D. Wright, M.N. Stone Chicago: MESA Press, 1979.

10. O.Wright, B.D. Rating scale analysis. Rasch measurements Text. / B.D. Wright, Masters G.N. Chicago: MESA Press, 1982.

11. П.Аванесов, B.C. Композиция тестовых заданий Текст. / B.C. Аванесов -М.: Центр Тестирования, 2002.-239 с. ISBN 5-94635-071-4

12. Анастази, А. Психологическое тестирование Текст. / Анна Анастази, Сьюзен Урбина; пер. с англ. под ред. А.А. Алексеева. — 7-е межд. изд., перераб. и доп. СПб.: Питер, 2007. - 102 с. - ISBN*5-272-00106-0

13. Анохин А.Н. Методы экспертных оценок. Учебное пособие. Текст. / А.Н. Анохин 1996. - Обнинск: ИАТЭ - 148 с.

14. Арефьев, В.П. Компьютерные технологии контроля качества инженерного образования«Текст./ В.П. Арефьев, А.А. Михальчук //Открытое и дистанционное образование.- 2005. -№ 4. С. 21-27.

15. Аристов, О.В. Управление качеством: учебное пособие для вузов Текст. /О-В. Аристов. М.: Инфра-М, 2004 г. - 240 е.: ил. - ISBN:.5-16001953-7.

16. Балыхина, Т.М. Словарь терминов и понятий тестологии Текст. / Т.М. Балыхина. 2-е изд. - М.: Юнити-Дана, 2006. - 161 с. - ISBN: 5883371264

17. Башмаков, А. И. Разработка компьютерных учебников и обучающих систем Текст./ Башмаков А. И., Башмаков И. А. М.: Информационно-издательский дом «Филинъ», 2003. - 616 с. - ISBN 5-9216-044-Х

18. Белов, А.А. Качество тестовых материалов. Текст. /А.А. Белов// Университетское образование: сб. научн. тр. IX Международной научно-методической конференции 14-15 апреля 2005. — Пенза: ПДЗ, 2005 — С. 94-96.

19. Бершадский A.M. Актуальные проблемы компьютерного контроля знаний Текст./ A.M. Бершадский, A.A. Белов, Р.И. Вергазов, И.Г. Кревский// Вестник компьютерных и информационных технологий 2005. — № 1 - С.40-48.

20. Болотов, В.А. Системы оценки качества образования: учебное пособие Текст./ В.А. Болотов, Н.Ф. Ефремова. -М: Логос-М, Университетская книга, 2007. 192 с. - ISBN: 5-98704-135-Х

21. Брумштейн, Ю. М. Использование идеологии пробит анализа при обработке результатов тестового контроля знаний. Текст. / Ю. М. Брумштейн, C.B. Окладникова // Естественные и технические науки. - 2006. -№3(23). С. 184- 185.

22. Васильев, В.И. Требования к программно-дидактическим тестовым материалам и технологиям компьютерного тестирования. Текст. / В.И. Васильев, А.А Киринюк, Т.Н. Тягунова М.: МГУП, 2005. — 29 с. - ISBN 58122-0860-3

23. Вендров, А.М. Практикум по проектированию программного обеспечения экономических информационных систем: учебное пособие. Текст./ А.М. Вендров. -М.: Финансы и статистика, 2002. 192 е.: ил. - ISBN 5-279-024406

24. Вендров, А.М. Проектирование программного обеспечения экономических информационных систем: Учебник. Текст. / А.М. Вендров. -М.: Финансы и статистика, 2000. 352 е.: ил. - ISBN 5-279-02144-Х

25. Виейра, Р. Программирование баз данных Microsoft SQL Server 2005 для профессионалов Текст. / Р. Виейра; пер .с англ. — М.: Диалектика, 2008. -1072 с. ISBN 978-5-8459-1329-6

26. Гласс, Дж. Статистические методы в педагогике и психологии Текст./ Дж. Гласс, Дж. Стэнли; пер. с англ. — М.: Прогресс, 1976. — 496 с.

27. Гребнев, А. Высшее образование в Болонском измерении: российские особенности и ограничения Текст./А. Гребнев// Высшее образование в Росси. 2004. -№1 С. 36-43.

28. Гретченко, A.A. Болонский процесс: интеграция России в европейское и мировое образовательное пространство Текст. / A.A. Гретченко, А.И. Гретченко. М.: КноРус, 2008. - 432 е.- ISBN 978-5-390-00364-0

29. Гужов, В.И. Система тестирования на основе автономных модулей Текст./ В.И. Гужов// Открытое и дистанционное образование. — 2004. — № 2. -С. 33-36.

30. Дроздова, Н.В. Модульный подход в системе высшего образования. Основы структурализации и метапознания Текст. / Н.В. Дроздова, А.П. Лобанов. -М.: РИВШ, 2008. 84 с. - ISBN: 978-985-500-154-7

31. Евтюхин, Н.В. Современное состояние методов тестирования знаний, и умений за рубежом и в России Текст./ Н.В. Евтюхин //Инновации в образовании. 2004. - № 1. - С. 27-47.

32. Елисеева, И.И. Общая теория статистики: Учебник Текст./ И.И. Елисеева, М.М. Юзбашев; под ред. И.И. Елисеевой 5-е изд., перераб. И доп. - М.: Финансы и статистика, 2004 - 656 е.: ил. - 5000 экз. - ISBN 5-27902414-7

33. Кальянов, Г.И. CASE структурный системный анализ (автоматизация и применение) Текст. / Г.И. Кальянов. М.: ЛОРИ, 1996. - 242 с. - ISBN 585582-011-4

34. Кинцель, Д.А. Нечисловой подход к моделям тестирования и оцениванию параметров тестовТекст./Д.А. Кинцель// Educational Technology & Society, 2007.-№ 10(1)-С. 76-81

35. Коллекция On-line тестов Электронный ресурс. / Центр компьютерного обучения при МГУ им. Н.Э. Баумана. Электронный данные. - Режим доступа: http://www.specialist.ru, свободный. — Заглавие с экрана. — Яз. рус.

36. Коллекция тестов Электронный ресурс. / Образовательный сервер тестирования— Электронный данные. Режим доступа: rostest.runnet.ru/, свободный. — Заглавие с экрана. - Яз. Рус.

37. Коллекция тестов» Электронный ресурс. / Открытый колледж. -Электронный данные. — Режим доступа: www.college.ru, свободный. -Заглавие с экрана. — Яз. рус.

38. Коллекция тестов Электронный ресурс. / Телетестинг. Электронный данные. - Режим доступа: www.teletesting.ru/, свободный. — Заглавие с экрана. — Яз. Рус.

39. Колпаков, A.B. Численный метод получения логитов из сырого балла. Электронный ресурс./ A.B. Колпаков. — Электронный ресурс. — 2006-Режим доступа: http://kolsarat.chat.ru/stat.htm, свободный. — Заглавие с экрана. Яз. рус.

40. Королько, В.Г. Основы паблик рилейшнз Текст./ В.Г. Королько. — М.: Рефл-бук, 2003. -528 с. ISBN: 966-543-048-3

41. Кривоносов, А.Д. PR-текст в системе публичных коммуникаций Текст. / А.Д. Кривоносов — 2-е изд., доп. СПб.: Петербургское Востоковедение, 2002.- 288 с. - ISBN-5-85803-215-Х

42. Кручинин, В.В. Система тестирования, основанная на генерации вопросов и тестовых заданий Текст. / В. В. Кручинин // Научно-практический журнал. Открытое образование 2004. - №4.-С.30-35.

43. Лингвоанализатор Электронный ресурс. / Русская фантастика; ред. Хмелев* Д.; Web- мастер Петриенко П. Электронные данные. - 2002— Режим доступа: http://www.rusf.ru/books/analysis/index.htm, свободный. — Заглавие с экрана. — Яз. рус.

44. Майоров, А.Н. Теория и практика создания тестов для системы образования Текст. / А.Н. Майоров М.: Интеллект-Центр, 2002 — 56 с. — ISBN 5-89790-115-5

45. Малюченко, П.Н. Программное обеспечение сравнительного анализа систем проверки орфографии. Электронный ресурс. / П.Н. Малюченко — Электронные данные. 2000.' - Режим доступа: http://www.malapetr.ru/, свободный. - Заглавие с экрана. - Яз. рус.

46. Мелецинек, А. Инженерная педагогика: практика передачи техническихgзнаний Текст. : учеб. пособие / А. Мелецинек; под ред. B.Mi Приходько. —

47. М.: МАДИ (ГТУ), 1998. 185 с.

48. Михеев, В.И. Моделирование и методы^ теории измерений в педагогике: Учебное пособие. Текст. / В.И.1 Михеев. М.: КомКнига, 2006. - 200 с. -ISBN 978-5-484-00469-0

49. Мкртчян, С.С. Повышение качества высшего образования и Болонский процесс. Обобщение отечественной и зарубежной практики Текст. / С.С. Мкртчян, Савельев А.Я., Трайнев В:А. Дашков и К, 2007 - 392 е.- ISBN: 978-5-91131-258-9

50. Морган, С. Проектирование и оптимизация доступа к базам данных Microsoft SQL Server 2005. Учебный курс Microsoft (+ CD-ROM) Текст. / С. Морган; пер .с англ. М.: Русская Редакция, 2008. - 480 с. - ISBN 978-57502-0151-8

51. Морфологический словарь. Электронный ресурс. / Автоматическая Обработка Текста. —Электронные данные. — 2007. — Режим доступа: http://www.aot.ru/download.php, свободный. — Заглавие с экрана. — Яз. рус.

52. Найденова, H.H. Формирование репрезентативной выборки: Учебное пособие. Текст. / Найденова H.H. М.: Логос, 2003. - 152 с. ISBN 5-94010263-8

53. Нейман, Ю.М. Введение в теорию, моделирования и параметризации педагогических тестов. Текст. / Ю.М. Нейман, В.А. Хлебников М.: Прометей, 2000. - 168 с. с табл. и ил. - ISBN 5-7042-1068-6

54. Никофоров, А.Д. Управление качеством: учебное пособие для вузов Текст. / А.Д. Никифоров. М.: Дрофа, 2004 г. - 720 е.: ил. - ISBN: 5-71076970-3.

55. Новиков, Д.А. Статистические'методы в педагогических исследованиях Текст. /Д.А. Новиков М.: МЗ-Пресс, 2004 -66 с. - ISBN: 5-94073-073-6

56. Образцов, П.И. Методика разработки критериально-ориентированных тестов по русскому языку и культуре речи для студентов технического университета Электронный ресурс./ П.И. Образцов.// Официальный сайт

57. Он-лайн тесты для профессионалов в области ИТ. Электронный ресурс. / Сетевая академия Ланит. Электронный данные. — Режим доступа: tests.academy.ru, свободный. - Заглавие с экрана. — Яз. рус.

58. Он-лайн тесты. Электронный ресурс. / Международная академия бизнеса. — Электронный данные. Режим доступа: www.iba.ru/menuleft/onlinetest.html, свободный. - Заглавие с экрана. - Яз. рус.

59. Он-лайн тесты; Электронный ресурс. / Система тестирования и проведения экзаменов, Электронный данные. - Режим доступа: www.ezamen.ru, свободный. - Заглавие с экрана. - Яз. рус.

60. Он-лайн тесты. Электронный ресурс. / Система тестирования и проведения экзаменов. Электронный данные. — Режим доступа: www.mozg.ru/, свободный. - Заглавие с экрана. — Яз. рус.

61. Орлов, А.И. Теория принятия решений: учебное пособие для вузов Текст. / А.И. Орлов. М.: Издательство «Экзамен», 2006 г. - 573 с. - ISBN: 5-472-01393-3.

62. Открытый сегмент Федеральной базы тестовых заданий.

63. Электронный ресурс./ Федеральный институт педагогических измерений. — Электронный данные. 2004-2009. - Режим доступа: http://www.fipi.ru/view/sections/141/docs/, свободный. - Заглавие с экрана. — Яз. рус.

64. Сел ко, Д: Программирование на SQL для, профессионалов. Текст. / Д. Селко. М.: Лори, 2004. - 442 с. - ISBN 0-55860-576-2

65. Семантические- словари. Электронный ресурс. / Автоматическая Обработка Текста. — Электронные данные. 2007. — Режим доступа: http://www.aot.ru/download.php, свободный. - Заглавие с экрана. - Яз. рус.

66. Смолин, Д.В. Методология, создания компьютерного теста Электронный ресурс. / Д.В. Смолин //Центр тестирования «Chopin» — Электронные данные. 2006.- Режим доступа: http://mcsmall.altnet.ru/DOCS/DOC/method.htm, свободный. - Заглавие с экрана. — Яз. рус.

67. Сысоева, Л.А. Информационно-семантические модели педагогических тестов Текст. /Л.А. Сысоева //Педагогическая диагностика. — 2005 №4. - С. 20-41

68. Тертычный, A.A. Жанры периодической печати: учебное пособие. Текст. / A.A. Тертычный 3-е изд., испр. и доп. - М.: Аспект Пресс, 2006. -232 с. - ISBN: 5-7567-0397-7

69. Требования к программно-дидактическим тестовым материалам

70. Электронный ресурс. / Испытательная лаборатория качества ПДТМ. — 2004.- Электронный^ данные. — Режим доступа: http://cmko.ulstu.ru/indexIL.php?adr=tpl/IL/TZIL.tpl, свободный. Заглавие с экрана. — Яз. рус.

71. Тягунова, Т. Н. Культура проектирования тестового задания: Текст. / Тягунова Т. Н. М: МГУП, 2006. — 300 с. - ISBN 5-8122-0723-2

72. Челышкова, М.Б. Теория и практика конструирования педагогических тестов: учебное пособие для вузов Текст. / М.Б. Челышкова. — М.: Логос-М, 2002. 432 с. - ISBN: 5-94010-143-7

73. Электронный архив коллекции тестов ЕГЭ Электронный ресурс. / Сервер информационной поддержки ЕГЭ. Электронный данные. - Режим доступа: www.ege.ru, свободный. — Заглавие с экрана. - Яз. рус.