Модели и методы проектирования программных систем анализа и контроля знаний тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Немсцверидзе, Зураб Шамильевич

• Немсцверидзе, Зураб Шамильевич
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Немсцверидзе, Зураб Шамильевич

ОСНОВНЫЕ ТЕРМИНЫ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

ВВЕДЕНИЕ

1. АНАЛИТИЧЕСКИЙ ОБЗОР СИСТЕМ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ И МЕТОДОВ КОНТРОЛЯ КАЧЕСТВА ОБРАЗОВАНИЯ

1.1 Системы дистанционного образования

1.2. Анализ систем электронного обучения (табл. 1.2)

1.3. Методы контроля состояния знаний и готовности к деятельности. Безусловные алгоритмы компьютерного контроля качества образования

1.3.1. Основные понятия и модели контроля состояния знаний и готовности к деятельности

1.3.2. Применение планов контроля при компьютерном контроле состояния знаний

1.4. Безусловные алгоритмы компьютерного контроля качества образования

1.4.1. Правила упрощения таблиц покрытия учебного материала контрольными заданиями

1.4.2. Синтез оптимальных безусловных алгоритмов контроля методом ветвей и границ

1.4.3. Пример синтеза безусловного алгоритма компьютерного контроля знаний 37 Выводы по первой главе

2. СИНТЕЗ ОПТИМАЛЬНЫХ УСЛОВНЫХ АЛГОРИТМОВ КОМПЬЮТЕРНОГО КОНТРОЛЯ КАЧЕСТВА ОБРАЗОВАНИЯ

2.1. Синтез оптимальных условных алгоритмов контроля знаний методом динамического программирования

2.2. Синтез оптимальных вопросников для контроля состояний знания

2.2.1. Понятие вопросника для выявления состояния знаний

2.2.2. Отображение вопросника для компьютерного контроля графом

2.2.3. Способ преобразования некоторого исходного вопросника для выявления состояний знания в оптимальный

2.3. Синтез оптимальных реализуемых вопросников для выявления состояний знания методом динамического программирования

2.3.1. Последовательность операций синтеза оптимального реализуемого вопросника для контроля состояний знания

2.3.2. Пример синтеза оптимального реализуемого вопросника для компьютерного контроля состояний знания методом динамического программирования.

2.4. Синтез оптимальных условных алгоритмов компьютерного контроля состояний знания методом ветвей и границ

2.4.1. Синтез оптимальных реализуемых вопросников

2.4.2. Пример синтеза оптимального реализуемого вопросника для компьютерного контроля знаний методом ветвей и границ

Выводы по второй главе

3. ЧЕТЫРЁХ- И ПЯТИБАЛЛЬНЫЙ КОНТРОЛЬ И ЭКОНОМИЧНЫЕ ПЛАНЫ КОНТРОЛЯ КАЧЕСТВА ОБРАЗОВАНИЯ

3.1. Четырёх- и пятибалльный контроль знаний

3.1.1. Оперативные характеристики

3.1.2. Графический анализ одноступенчатого плана четырехбалльного контроля знаний на основе номограмм Ларсона

3.1.3. Реализация психометрической функции педагога/эксперта адаптивной обучающей или поддерживающей системой

3.1.4. Пример определения оперативных характеристик усеченного одноступенчатого плана пятибалльного компьютерного контроля знаний

3.2. Оптимальные экономичные одноступенчатые и последовательные планы контроля результатов познавательной и иной деятельности при отсутствии и наличии ошибок в измерениях

3.2.1. Простые (одноступенчатые) планы двухбалльного контроля знаний

3.2.2. Оптимальные экономичные последовательные планы контроля знаний 107 Выводы по третьей главе

4. ОПИСАНИЕ РАБОТЫ СИСТЕМЫ ДИСТАНЦИОННОГО ОБУЧЕНИЯ ПО КУРСУ

АДМИНИСТРИРОВАНИЕ СЕТЕВЫХ СИСТЕМ»

4.1. Системные требования

4.1.1. Требования к рабочему месту клиента

4.1.2. Требования к серверу

4.2. Структура папок и расположение на сервере

4.3. Запуск программы

4.4. Диалоговая система «Анализ и синтез планов компьютерного контроля знаний»

4.4.1. Общий порядок функционирования

4.4.2. Задание конкретных показателей

4.4.3. Работа с меню

4.5. Работа программы при анализе и синтезе планов контроля

4.6. Описание основных методов, процедур, функций, переменных и файлов.

4.7. Практическое использование программы

4.7.1. Анализ одноступенчатого плана четырехбалльного контроля знаний с учетом ошибок в распознавании истинности ответов.

4.7.2. Синтез экономичных одноступенчатых и последовательных планов двухбалльного компьютерного контроля знаний

Выводы по четвертой главе

Введение диссертации (часть автореферата) на тему «Модели и методы проектирования программных систем анализа и контроля знаний»

В настоящее время и в перспективе развитие системы образования и её соответствие требованиям в значительной степени определяется и будет определяться состоянием и качеством алгоритмов и программ систем электронного, дистанционного образования, электронных образовательных ресурсов (ЭОР), методами проектирования и анализа алгоритмов и программ для них, учётом индивидуальных характеристик и потребностей студентов и пользователей.

В России и мире динамично развивается система образовательных порталов. Среди международных проектов можно выделить: 1) Консорциум Open Courseware (OCW) (свыше 100 университетов США, Австралии, Канады и др.); 2) Open Education Recourse Commons (OER); 3) глобальный виртуальный университет в рамках Университета ООН и др.

Создано значительное число автоматизированных обучающих систем и инструментальных средств проектирования ЭОР: 1) Отечественные - БиГОР (База и генератор образовательных ресурсов), Магистр 2008, СДТ RedClass, Прометей, Дельфин и др. и 2) зарубежные (WebCT, Microsoft class server, Adobe acrobat connect, Moodle, Lersus, и др.).

Важнейшими составляющими этих систем являются алгоритмы и программы управления процессом усвоения знаний, организации компьютерного контроля и самоконтроля, выявления структуры знаний студентов и/или пользователей. Их совершенствование - актуальное направление исследований в области систем электронного, дистанционного образования и ЭОР.

Разработке моделей и методов проектирования и анализа алгоритмов и программ компьютерного выявления структуры и контроля знаний посвящены работы И.А. Башмакова, JI.C. Болотовой, B.C. Жданова, Д.О. Жукова, В.В. Нечаева, И.П. Норенкова, Б.М. Позднеева, А.Я. Савельева, А.П. Свиридова,

Н.А. Селезнёвой, А.И. Субетто, Н.Ф. Талызиной, А.Н. Тихонова и др. Среди зарубежных авторов следует отметить работы А. Бирнбаума (Birnbaum), Ф. Бодендорфа, Э Вагнера, А. Кобзы, К Кубингера, Ф. Лорда, Дж. Раша, Е. Рича, Р. Вилленски и др.

Однако при проектировании и анализе алгоритмов и программ выявления структуры и контроля знаний не учитываются экономические показатели при синтезе планов контроля, реально не используются безусловные и условные алгоритмы компьютерного выявления структуры знаний, отсутствует программная реализация методов анализа и синтеза планов компьютерного контроля знаний (ККЗ). Решению этих актуальных проблем посвящено данное диссертационное исследование.

Цели и задачи работы

Целью исследования является разработка моделей и методов синтеза экономичных планов ККЗ и условных алгоритмов выявления структуры знаний для систем электронного, дистанционного образования и ЭОР.

Задачи исследования:

1. Выполнить аналитический обзор методов проектирования и анализа алгоритмов и программ выявления структуры и контроля знаний известных отечественных и зарубежных систем электронного, дистанционного образования и ЭОР с целью определения нерешённых проблем.

2. Разработать модель синтеза условных алгоритмов идентификации состояния знаний обучаемых (студентов).

3. Разработать приближенные методы синтеза экономичных одноступенчатых и последовательных планов ККЗ при учёте: 1) стоимости задания одного вопроса и анализа ответа на него и 2) потерь при выставлении оценок «зачтено» и «не зачтено» без контроля.

4. Разработать способ упрощения таблиц покрытия положений учебного материала контрольными заданиями, обеспечивающий сокращение затрат ресурсов памяти и длительности контроля знаний.

5. Реализовать диалоговую систему «Анализ и синтез планов компьютерного контроля знаний» на основе предложенных автором приближенных методов синтеза экономичных одноступенчатых и последовательных планов ККЗ при отсутствии и наличии искажений в распознавании истинности ответов.

Теоретико-методологическую основу исследования составляют теория принятия решений, теория графов, техническая диагностика, вероятностно-статистические методы.

Достоверность и обоснованность подтверждается: 1) согласованностью с имеющимися результатами других авторов, 2) корректностью выводов математических зависимостей в описании разработанных методов и 3) экспериментальными исследованиями системы дистанционного обучения по курсу "Администрирование сетевых систем" и диалоговой системы "Анализ и синтез планов компьютерного контроля знаний".

В ходе исследования была решена научная задача создания методов синтеза условных алгоритмов идентификации состояний знания студента и экономичных планов контроля знаний для проектирования программных систем.

Отличие теоретических и эмпирических данных исследования от результатов, полученных другими авторами, состоит в том, что были предложены способы синтеза условных алгоритмов идентификации состояний знаний студентов методом ветвей и границ (МВГ) для двух случаев: без ограничения и с ограничениями среднего времени идентификации.

Теоретическая значимость исследования. Разработаны: 1) метод синтеза условных алгоритмов идентификации структуры знаний студента на основе МВГ, позволяющих повысить эффективность разрабатываемой

10 программной системы анализа и контроля знаний, и 2) методы синтеза экономичных одноступенчатых и последовательных планов контроля знаний, обеспечивающих сокращение среднего времени контроля знаний.

Практическая значимость исследования заключается в создании метода синтеза условных алгоритмов выявления структуры знаний, требующих примерно в два раза меньше времени реализации по сравнению с безусловными алгоритмами, и методов синтеза экономичных планов ККЗ для программных систем электронного, дистанционного образования и инструментальных средств проектирования ЭОР. Она состоит и в создании диалоговой системы "Анализ и синтез планов компьютерного контроля знаний" (на русском и немецком языках). Система зарегистрирована во ВНТИЦ, регистрация №50201000377 от 17.03.2010 г.

Апробация и внедрение результатов исследования. Основные результаты работы представлялись на следующих конференциях и семинарах: Вторая межрегиональная научно-практическая конференция «Наука и молодёжь в XXI веке», г. Троицк, 2004; III Всероссийский научно-педагогический конгресс «Воспитательная работа в современном вузе: проблемы, направления и пути совершенствования», Российский государственный социальный университет (РГСУ), г. Москва, 2003; Презентация совместного проекта РГСУ и SRH-Высшей школы Гейдельберга на Международном конкурсе «xplore New Automation Award 2005» фирмы Phoenix Contact, г. Blomberg, 2005; Научные чтения «Социология и информационные технологии в XXI веке», РГСУ, г. Руза (01.2006); 55-я научно-техническая конференция, Московский государственный институт радиотехники, электроники и автоматики (технический университет) (МИРЭА), г. Москва, 2006; VI Международный социальный конгресс «Глобализация и будущее России», РГСУ, г. Москва, 2006; Зимние научные чтения «Информационные технологии и коммуникационные ресурсы XXI в. в социальной сфере», РГСУ, г. Руза, 2007; 56-я научно-техническая конференция,

МИРЭА, г. Москва, 2007; VII Всероссийский социально - педагогический конгресс «Современной социальное образование: опыт и проблемы модернизации», РГСУ, г. Москва, 2007; Зимние научные чтения «Технологии информатизации современного российского социума», РГСУ, г. Руза, 2008; 57-я научно-техническая конференция, МИРЭА, г. Москва, 2008; 58-я научно-техническая конференция, МИРЭА, г. Москва, 2009; Зимние научные чтения «Современные информационные технологии: теория и социальная практика», РГСУ, г. Руза, 2009; 59-я научно-техническая конференция, МИРЭА, г. Москва, 2010.

Результаты диссертационной работы: внедрены в учебный процесс кафедры моделирования информационных систем и сетей РГСУ как на стадии изучения отдельных дисциплин («Нейросети и нейрокомпьютеры», «Нейро-нечеткие системы и технологии», «Системы искусственного интеллекта» и др.), читаемых для студентов специальностей «Автоматизированные системы обработки информации и управления» и «Программное обеспечение автоматизированных систем и вычислительной техники», так и при проведении ККЗ; внедрены в рамках совместного проекта РГСУ и SRH-Высшей школы Гейдельберга (Германия) (третья премия на Международном конкурсе xplore New Automation Award 2005 фирмы Phoenix Contact г. Blomberg, Германия); практически использованы в госбюджетном научно-исследовательском проекте «Гуманизация и интеллектуализация информационных технологий и систем социального, гуманитарного и политехнического образования» в рамках аналитической ведомственной целевой программы Минобрнауки РФ «Развитие научного потенциала высшей школы (2009-2010 годы)».

Публикации. Основные результаты диссертационного исследования опубликованы в 14 печатных работах, из них 2 статьи в журналах, рекомендованных ВАК РФ.

Структура диссертации: диссертационная работа состоит из введения, четырёх глав, заключения и списка литературы из 75 наименований. Общий объём основного текста составляет 143 страницы, в том числе 64 рисунка и 29 таблиц.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Немсцверидзе, Зураб Шамильевич

Выводы по четвёртой главе

В данной главе получены следующие основные результаты:

Рассмотрена система дистанционного обучения по курсу «Администрирование сетевых систем». Для неё разработана программа контроля успешности усвоения знаний по нескольким главам.

Приведён пример выборки вопросов для программы контроля знаний по лабораторному практикуму совместного проекта РГСУ и SRH-Высшая школа Гейдельберга, получившего третью премию на Международном конкурсе xplore New Automation Award 2005 фирмы Phoenix Contact, лабораторный практикум предназначен для следующих учебных дисциплин: техника регулирования/управления, техника автоматизации, сенсорика / акторика, микропрограммное управление, техника управления с визуализацией процессов, идентификация и автоматизация процессов, теория автоматического регулирования и управления.

Рассмотрены основные методы анализа и синтеза планов компьютерного контроля знаний, реализованные в разработанной диалоговой системе «Анализ и синтез планов компьютерного контроля знаний» (разработчики: проф.

A.П. Свиридов, асп. В.А. Лапин, З.Ш. Немсцверидзе):

Методы анализа одно-, двухступенчатых и последовательных планов двухбалльного ККЗ и реализованными проф. А.П. Свиридовым, и асп.

B.А. Лапиным,

Методы синтеза экономичных одноступенчатых и последовательных планов двухбалльного ККЗ реализованы проф. А.П. Свиридовым, и асп. З.Ш. Немсцверидзе,

Методы анализа одноступенчатых планов четырёх- и пятибалльного ККЗ разработаны А.П. Свиридовым, асп. В.А. Лапиным и асп. З.Ш. Немсцверидзе,

При анализе планов ККЗ для заданного плана определяются его основные количественные характеристики: оперативные характеристики, отображающие зависимости вероятностей выставления различных оценок от степени неподготовленности обучаемого (студента), среднее число задаваемых вопросов в зависимости от степени неподготовленности обучаемого, зависимость средней оценки от степени неподготовленности обучаемого (реализация психометрической функции педагога), реализованы два подхода к синтезу планов двухбалльного ККЗ: По двум точкам оперативной характеристики плана и с учётом экономических показателей потери при выставлении оценок «зачтено» и «не зачтено» и стоимости задания одного вопроса и анализа ответа на него.

Рассмотрен общий порядок функционирования диалоговой системы и приведены примеры её практического применения, программный комплекс зарегистрирован во ВНТИЦ, регистрация №50201000377 от 17.03.2010 г.

Заключение

Выполненный анализ методов проектирования и анализа алгоритмов и программ идентификации структуры и контроля знаний известных отечественных и зарубежных систем электронного, дистанционного обучения, ЭОР и средств их создания выявил целесообразность их дополнения безусловными и условными алгоритмами выявления структуры знаний студента. Учёт вероятностей различных состояний знаний, а также времени предъявления вопроса и ответа на него позволяет сократить среднее время определения состояния знаний студента.

Разработана модель синтеза условных алгоритмов идентификации состояний знания методом ветвей и границ, позволяющих повысить эффективность программных систем анализа и контроля знаний до 50% по сравнению с безусловными алгоритмами.

Разработаны приближённые методы синтеза экономичных i одноступенчатых и последовательных планов компьютерного контроля знаний, повышающих эффективность программных систем анализа и контроля знаний. Приведены примеры экономичных планов контроля знаний.

Разработан способ сокращения размерности таблиц покрытия положений учебного материала контрольными заданиями, обеспечивающий снижение затрат ресурсов памяти и длительности контроля знаний

На основе предложенных автором приближённых методов синтеза экономичных одноступенчатых и последовательных планов ККЗ при отсутствии и наличии искажений в распознавании истинности ответов реализована диалоговая система "Анализ и синтез планов компьютерного контроля знаний".

Разработаны программы и планы контроля по компьютерному учебному курсу «Администрирование сетевых систем», а также программа и планы контроля по теории автоматического регулирования для совместного проекта

РГСУ и SRH- Высшей школы Гейдельберга, получившего 3-ю премию на Международном конкурсе фирмы Phoenix Contact (Бломберг, ФРГ).

Список литературы диссертационного исследования кандидат технических наук Немсцверидзе, Зураб Шамильевич, 2010 год

1. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем, М.: Информационно-издательский ДОМ «ФИЛИНЪ», 2003, -616 с.

2. Беляев, Ю.К., Выборочные методы контроля. М.: Изд-во Наука, 1975.

3. Беспалько В.П. Образование и обучение с участием компьютера (педагогика третьего тысячелетия), М.: Изд-во Московского психолого-социального института, 2002.

4. Болотов В.А., Ефремов Н.Ф. Система оценки качества российского образования // Педагогика, №1, М.: 2006, с. 22-31.

5. Бондин О.А. Сборник программных задач по курсу Теория автоматического управления Часть I. Линейные непрерывные системы автоматического регулирования (уравнения, основные характеристики, устройства), М.: Изд-во МЭИ, 1964, -184 с.

6. Долганюк В.А. Компьютерный учебный курс «Администрирование сетвых систем», М.: МИРЭА, 2006.

7. Ефремова Н.Ф., Корсунова Е.Ф. Независимое оценивание как инструмент формированиякомпетенций обучающихся // Педагогика, N 7, 2009, с. 57137

8. Зимняя И.А. (ред.). Становление ключевых социальных компетентностей на разных уровнях образовательной системы (дискутивная характеристика как база оценивания), М.: Исследовательский центр проблем качества подготовки специалистов, 2006.

9. Концепция общероссийской системы оценки качества образования (проект, версия 02.02.08, вторая редакция), http://ege.edu.ru, 2008.

10. Миттаг Х.И., Ринне X. Статистические методы обеспечения качества, пер. с нем., М.: Изд-во Машиностроение, 1995, -616 с.

11. Моисеев В.Б., УсмановВ.В., Таранцева К.Р., Пятирублевый Л.Г. Статистический подход к принятию решения по результатам тестирования для тестов закрытой формы // Открытое образование, №4, 2001, с. 37-42.

12. Нечаев В.В., Свиридов А.П., Панченко В.М., Лапин В.А., Немсцверидзе З.Ш. и др. Нейронные сети и нейросетевые технологии. Учебное пособие, М.:МИРЭА, 2008, -98 с.

13. Нечаев В.В., Свиридов А.П., Панченко В.М., Лапин В.А., Немсцверидзе З.Ш. и др. Нейронные сети, нейрокомпьютеры и нейро-нечеткие системы: лабораторный практикум на основе нейропакета JavaNNS. Научн. ред. Свиридов А.П., М.: МИРЭА, 2009, -144 с.

14. Норенков И.П.,Зимин A.M. Информационные технологии в образовании, М.: Изд-во МГТУ им. Н.Э. Баумана, 2004, -350 с.

15. Подготовка и переподготовка ИТ кадров. Проблемы и перспективы. Под ред. С.В. Коршунова, В.Н. Гузненкова, М.: Горячая линия - Телеком, 2005, -262 с.

16. Проблемы качества образования. Книга 5. Управление качеством образования // Материалы XIV Всероссийского совещания, Уфа: Исследовательский центр проблем качества подготовки специалистов, 2004, -78 с.

17. Проблемы качества образования. Книга 6. Общие проблемы качества образования // Материалы XIV Всероссийского совещания, Уфа: Исследовательский центр проблем качества подготовки специалистов, 2004. -68 с.

18. Свиридов А.П.: Программированный контроль знаний с выборочным способом ответа, В: Симпозиум N 15 Пятой Всероссийской конференции по программированному обучению и применению технических средств, -М.: Изд-во Педагогика, 1968, с. 7-16.

19. Свиридов А.П.: Ведение в статистическую теорию обучения и контроля знаний. 4.1. Стандартизированные методы контроля знаний, М.: Изд-во МЭИ, 1974, -134 с.

20. Свиридов А.П.: Обучение и самообучение обучающих и контролирующих машин, М.: Изд-во МЭИ, 1976, -182 с.

21. Свиридов А.П.: Основы статистической теории обучения и контроля знаний, М.: Изд-во Высшая школа, 1981, -262 с.

22. Свиридов А.П.: Разработка и исследование систем автоматизированного обучения на базе статистических моделей, М.: МЭИ, докт. дисс., 1984, -427 с.

23. Свиридов А.П. Нейросетевые статические и динамические модели педагогических отношений // Мульти- и телемедийные средства в образовании. М.: Изд-во МГСУ, 2002. - с. 8-16.

24. Свиридов А.П., Слесарев Д.А. Лапин В.А., Немсцверидзе З.Ш. и др.139

25. Нечеткие экспертные системы и нейронные сети. Учебное пособие. М.: РГСУ, 2008. - 110 с.

26. Свиридов А.П., Ларин В.А., Немсцверидзе З.Ш. и др. Нейропакет JavaNNS: лабораторный практикум по нейронным сетям, нейрокомпьютерам и нейро-нечетким системам. Научн. ред. Свиридов А.П. М.: РГСУ, 2009. -148 с.

27. Свиридов А.П. Статистическая теория обучения. Монография. М.: РГСУ, 2009. -576 с.

28. Селезнева Н.А.: Качество высшего образования как объект системного исследования. Лекция-доклад. Издание 3. М.: Исследовательский центр проблем качества подготовки специалистов, 2003. -95 с.

29. Соловов А.В. Электронное обучение: проблематика, дидактика, технологии. Самара: Новая техника, 2006.

30. Субетто А.И. Проблемы фувдаментализации и источников содержания высшего образования. Кострома, - М.: Исследоват. центр проблем качества подготовки специалистов, 1996, -332 с.

31. Талызина Н.Ф. Управление процессом усвоения знаний (психологические основы), 2-ое издание. М.: МГУ, 1984. -344 с.

32. Федеральный государственный стандарт общего образования: макет. Вариант №2, http://www.standart.edu.ru, 2007.

33. Хальд А. Математическая статистика с техническими приложениями. -М.: Иностранная литература, 1956.

34. Ясперс К. Смысл и назначение истории. М.: 1994.

35. Begriffe im Bereich der Qualitatssicherung, DGQ.l 1-04. Berlin: Beuth Verlag GmbH, 1987.-106 S.

36. Birnbaum A.: Some latent trait models and their use in inferring an Examinees ability. In: F.M. Lord&M.R. Novick. Statistical theories of mental test scores Reading Ma: Addison on Wesley Publishing Company, 1968.

37. Fischer G.H.: Einfuhrung in die Theorie psychologischer Tests. Bern: Huber,1401974.

38. Giegler H.: Tests und Testtheorie. In: Handbuch der Psychologie (Hrsg. R. Asanger und G. Winninger). Weinheim: Psychologie-Verlags-Union, 1992. S. 782-788.

39. Goldstein H.;Wood R.: Five decades of item response modelling. British Yornal of Mathematical&Statistical Psychology, 42, 1989. -S. 139-167.

40. Herbig M., Erven P. Sequentielle Priifplane in der padagogischen Diagnostik 11 Unterrichtswissenschaft, №1, 1975. -931 S.

41. Klauer K.J. (Hrsg.): Handbuch der Padagogischen Diagnostik, Bd. 1. -Dusseldorf: Padagogischer Verlag Schwann, 1977. -330 S.; Bd. 4. Dusseldorf: Padagogischer Verlag Schwann, 1978.

42. Kubinger K.D. (Hrsg.). Moderne Testheorie (mit einem Geleitwort van W.H. Tack). Weinheim, Miinchen: Psychologische - Verlags - Union, 1988. -310 S.

43. Larson H.R.: A Nomogramm of the Qumulative Binomial Distribution. Industrial Quality Control 23 (1966/67), S. 270-278.

44. Lienert G.A.: Testaufbau und Testanalyse. 3. Auflage. Weinheim: 1969. -599 S.

45. LindD.: Probabalistische Testmodelle in der empirischen Padagogik. -Mannheim, Leipzig, Wien, Zurich: Bl-Wiss.-Verlag, 1994.

46. Lord F.M. Novik M.R. Statistical Theories of mental Test scors, Reading Mass., 1968, Addison-Wesley.

47. Pearson K.: Tables of the incomplete Beta Funktion. London (Biometrica Office), 1934.

48. Rush G. Probubalistic models for some intelligence and attainment tests,141

49. Kopenhagen, I960. Nielsen and lydiehe the Danisch Institute for educational Research.

50. Schelten A.: Grundlagen der Testbeurteilung und Testerstellung. Heidelberg: Quelle&Meyer, 1980. -172 S.

51. Sixtl F. Sequentielles Testen in der padagogischen Diaaguostik, s. 137-144 // Klauer K.Y. (Hrsg.). Padagogische Diagnostik, Bd. 1. Dtisseldorf: Padagogischer Verlag Schwann, 1977. -330 S.

52. Sviridov A.P. WidmayerP., Oberhoff, W.-D., Unger, H. (Eds.): New Media for Education and Training in Computer Science. 2. Russian-German Symposium Moscow, Russian Federation, November, 23th-28th 1996. Sankt Augustin: Infix, 1996. -S. 204.

53. Sviridov A.P. Rechnergestutzte Kenntnis-Prufung. Dtisseldorf: Superbrain -Verlag, 2006. -434 S.

54. Tkachov F.V. From novel mathematics to efficient algorithms. Do we have proper SD foundation to build future? Tokyo, 2001. -10 S.

55. Uhlmann, W.: Statistische Qualitatskontrolle. Stuttgart: B.GTeubner, 1982 (2. Aufl.). -292 S.

56. Vogt, H.: Methoden der statistischen Qualitatskontrolle. Stuttgart: B.G. Teubner, 1988.

57. Waerden B.L.: Sequentielle Qualitatskontrolle als Minimumproblem. Ann. Math. Statistics, 4, 1965. -S. 187-202.

58. Waerden B.L.: Mathematische Statistik. Berlin, Goettingen, Heidelberg: 1971.

59. Wald A. Sequential Analysis. New York : 1947.65.http://www.winehq.org/, 2010.

60. Федеральный портал «Российское образование».http://www.edu.ru/db/portal/sites/portalpage.htm, 2009. 67.Образовательная система Прометей, http://www.prometeus.ru, 2008.

61. База и Генератор образовательных ресурсов, http://bigor.bmstu.ru, 2008.

62. Competentum. http://www.e-training.ru/index.php?sid=press&subid=160, 2009.

63. ИТ академия http://it-academy.ru/index.php?id=603, 2009. 71 .Open courseware http://www.opencoursware.tium.org, 2009.

64. Система тестирования Question Mark. http://www.e-learning.su/upload/content/content om perception 4.php, 2009.

65. Линейка продуктов RedClass. http://www.redlab.rU/m/35510/35575/index.html, 2009.

66. Stillus система поддержки открытого образования, http://stillus.rgotups.ru, 2009.

67. Викиучебник. http://ru.wikibooks.org/wiki/, 2009.