Разработка моделей и методов управления базами данных для комплексов компьютерного контроля знаний тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Лапин, Виталий Александрович

• Лапин, Виталий Александрович
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Лапин, Виталий Александрович

Список используемых обозначений и сокращений.

Введение.

Общая характеристика работы.

Структура диссертации и взаимосвязь отдельных глав.

1. Краткий анализ современного состояния отечественных и зарубежных систем дистанционного образования, компьютерного контроля качества профессиональной подготовки персонала и методов моделирования контроля, тестирования знаний и сертификации качества подготовки.

1.1. Анализ отечественных и зарубежных систем дистанционного образования сточки зрения используемых в них моделей и методов управления базами данных для комплексов компьютерного контроля знаний.

1.2. Анализ систем компьютерного контроля (тестирования) и подтверждения качества профессиональной подготовки персонала с точки зрения используемых в них планов контроля.

1.3. Стандартизированные (тестовые), нечеткие и нейросетевые методы контроля знаний.

1.3.1. Основные понятия и характеристики стандартизированного (тестового) контроля знаний.

1.3.2. Планы компьютерного контроля (тестирования) знаний и их основные характеристики.

1.3.3. Одноступенчатые планы контроля знаний.

1.3.3.1 Анализ планов двухбалльного контроля знаний.

1.3.3.2. Синтез одноступенчатого плана двухбалльного контроля знаний.

1.3.3.3. Четырехбалльный компьютерный контроль знаний по одноступенчатому плану (п, С5, С4, С3)

1.3.3.4. Пятибалльный компьютерный контроль знаний по плану (п,с1,с2,сз,с4).

1.3.4. Двухступенчатые планы.

1.3.5. Последовательные планы контроля (тестирования) знаний.

1.3.6. Нечеткие продукционные системы классификации.

1.3.7. Идентификация моделей отношений педагог-обучаемый или эксперт-кандидат при контроле знаний, тестировании и сертификации качества подготовки искусственными нейронными сетями (ИНС).

1.4. Технические и эксплуатационные требования к разрабатываемой диалоговой системе.

1.5. Обоснование выбора темы и области применения разработки.

Выводы по 1-й главе:.

2. Разработка моделей и методов управления базами данных для комплексов компьютерного контроля знаний.

2.1. Представление сложных планов (компьютерного) контроля качества образования. Многоуровневое стратифицированное представлениеструктуры высшего образования.

2.2 Определение плана компьютерного контроля знаний для момента времени I] по требованиям для более позднего момента времени t2 ^ при известном распределении времени забывания.

2.3. Усеченные одноступенчатые планы контроля знаний с ограничениями по числам правильных и неправильных ответов.

2.4 Методы синтеза одноступенчатых и последовательных планов контроля на втором уровне оценки качества по учебной дисциплине, специальности или направлению подготовки по результатам контроля выборки студентов на первом уровне с учетом искажений в измерениях истинности ответов.

2.5 Синтез одноступенчатых планов четырехбалльного контроля знаний.

Выводы по 2-й главе:.

3.Разработка программного комплекса.

3.1. Диалоговая система «Анализ и синтез планов компьютерного контроля знаний».

3.1.1. Общий порядок функционирования.

3.1.2. Задание конкретных показателей.

3.1.3. Работа с меню.

3.1.3.1 Опции.

3.1.3.2 Кнопки.

3.2. Работа программы при анализе и синтезе планов контроля.

Анализ планов.

3.3. Описание основных методов, процедур, функций, переменных и файлов.

3.4. Практическое использование программы.

3.5. Тестовые примеры работы.

3.5.1. Цели и методика экспериментов.

3.5.2. Сбор и анализ результатов экспериментальных исследований.

3.5.2.1. Анализ усеченного одноступенчатого плана ДКЗ при отсутствии ошибок в распознавании истинности ответов.

3.5.2.2. Анализ усеченного одноступенчатого плана двухбалльного контроля знаний при наличии ошибок в распознавании истинности ответов.

3.5.2.3. Синтез одноступенчатого плана двухбалльного контроля знаний при отсутствии искажений в распознавании истинности ответов.

3.5.2.4. Анализ одноступенчатого плана четырехбалльного контроля знаний с учетом ошибок в распознавании истинности ответов.

3.5.2.5. Вывод по результатам экспериментальных исследований работоспособности диалоговой системы «Анализ и синтез планов компьютерного контроля знаний».

3.6. Описание работы системы дистанционного обучения по курсу веб-технологий.

3.6.1. Системные требования.

3.6.2. Структура файлов системы.

3.6.3 Руководство пользователя.

3.6.3.1. Модуль «Регистрация».

3.6.3.2. Модуль «Курсы».

3.6.3.3. Модуль «Обучение».

3.6.3.4. Модуль «Администрирование».

3.6.3.5. Система выборки вопросов.

3.7 Практическое применение разработанных планов контроля и программного комплекса для синтеза и анализа планов контроля знаний.

3.7.1. Компьютерный учебный курс «web-технологий».

3.7.2.Программа и планы контроля для совместного проекта РГСУ и SRH-Высшей школы Гейдельберга.

Выводы по 3-й главе.

Введение диссертации (часть автореферата) на тему «Разработка моделей и методов управления базами данных для комплексов компьютерного контроля знаний»

Общая характеристика работы.

Актуальность темы. Отличительная особенность системы образования в настоящее время и в перспективе - широкое использование систем электронного, дистанционного обучения, тестирования и сертификации, электронных образовательных ресурсов (ЭОР) и средств их проектирования, тренажёров, в особенности для объектов и процессов с "высокой ценой" ошибки людей: 1) тепловые, атомные и гидроэлектростанции, 2) химико-технологические и другие опасные производства, 3) оказание первой медицинской помощи личным составом спасательных служб и т.п.

В условиях, когда конкуренция сместилась в основном в сферу качества, сертификация качества подготовки специалистов становится непременной функцией любого предприятия любой рыночной экономики и выделяется в самостоятельную отрасль.

В современных условиях проблемы гражданской обороны, защиты населения от чрезвычайных ситуаций, проблемы управления безопасностью инженерных сооружений социальной сферы являются составной частью национальной безопасности страны. При этом одно из перспективных направлений повышения безопасности жизнедеятельности связано с подготовкой людей и усвоением необходимых знаний, умений, навыков и компетенций для грамотного поведения в чрезвычайных ситуациях, Сократить ущерб могут лишь люди, пра- ' вильность их поведения и степень организации

Важной и ответственной задачей в указанных областях является разработка моделей и методов управления базами данных для комплексов компьютерного контроля знаний с возможностью использования результатов для адаптации способа обучения или тренировки к индивидуальным характеристикам обучаемых.

При этом решение о качестве подготовки обучаемых или специалистов принимается на основе стандартизированных (тестовых) методов компьютерного контроля знаний (ККЗ) с использованием одноступенчатых или усечённых одноступенчатых планов. Для испытуемого из программы контроля базы данных формируется выборка вопросов и по ответам на них выставляется оценка «зачтено» - «не зачтено» при двухбалльном КЗ (ДКЗ) и оценки от 2 до 5 в случае четырехбалльного КЗ (ЧКЗ).

Состояние научной разработанности проблемы. Существенный вклад в разработку теоретических основ методов и алгоритмов принятия решений в базах знаний и данных систем компьютерного контроля знаний (ККЗ) принадлежит отечественным ученым И.А. Башмакову, A.M. Бершадскому, Д.О. Жукову, А.Д. Иванникову, В.П. Климанову, М.Р. Когаловскому, И.А. Косареву, Б.Г. Литваку, В.В. Нечаеву, И.П. Норенкову, A.B. Осипову, В.М. Панченко, Б.М. Позднееву, А.Я. Савельеву, А.П. Свиридову, Б.Я. Советову, H.A. Селезневой, А.И. Субетто, В.А. Сухомлину, Ю.Ф. Тельнову, В.Ф. Хорошевскому, В.Е. Шукшунову, а также зарубежным X. Бальцельту (Н. Balcelt), В. Глаттхаару (W. Glatthaar), Т. Флору (Th. Flor), А. Кобзе (A. Kobsa), М. Новику (Novik) и др.

Однако, несмотря на фундаментальную разработку проблем создания моделей, методов и алгоритмов управления базами данных комплексов ККЗ, не решёнными, в частности, остаются следующие актуальные задачи: 1) синтеза плана контроля на втором уровне (например, уровне оценки качества образования по учебной дисциплине, специализации или направлению подготовки) по результатам контроля выборки студентов на первом уровне при наличии искажений в измерениях; 2) синтеза одноступенчатых и последовательных планов ККЗ с учетом забывания; 3) анализа одноступенчатого плана КЗ при прекращении контроля как по числу неправильных, так и по числу правильных ответов на вопросы выборки, 4) программной реализации методов анализа и синтеза одноступенчатых, двухступенчатых и последовательных планов ККЗ для систем управления базами данных и знаний.

Решению проблем 1-4 и посвящено настоящее диссертационное исследование.

Объект исследования: системы управления базами данных для принятия решений и обработки информации о качестве подготовки испытуемых (студенtob) в комплексах электронного, дистанционного обучения, тренировки, тестирования и сертификации.

Предмет исследования: модели и методы управления базами данных комплексов компьютерного контроля качества подготовки.

Целью исследования является создание и обоснование моделей и методов эффективного управления базами данных комплексов компьютерного контроля качества подготовки.

Задачи исследования:

1. Проанализировать современное состояние методов планирования компьютерного контроля знаний (в том числе на основе статистической теории обучения) и на этой основе создать модели для анализа и синтеза одноступенчатых и последовательных планов ДКЗ при ограничении контроля по количеству неправильных и правильных ответов, а также с учетом забывания для управления базами данных комплексов ККЗ.

2. Разработать методы синтеза одноступенчатых и последовательных планов ДКЗ и ЧКЗ при двухуровневом анализе системы образования и контроля качества подготовки для управления базами данных комплексов ККЗ.

3. Создать диалоговую систему "Анализ и синтез планов компьютерного контроля знаний", а также программы и планы ККЗ по курсу web-технологий и по теории автоматического регулирования для совместного проекта РГСУ-SRH Высшей школы Гейдельберга.

4. Обосновать практические рекомендации по использованию разработанных моделей, методов и диалоговой системы.

Теоретико-методологическую основу исследования составили методы теории принятия решений, теории вероятностей и математической статистики, статистической теории обучения, современные методы проектирования программных комплексов.

Достоверность и обоснованность результатов диссертационного исследования подтверждается математической корректностью выводов в описании разработанных моделей и методов, экспериментальными исследованиями системы дистанционного обучения по курсу "WEB-технологий" и диалоговой системы "Анализ и синтез планов компьютерного контроля знаний".

В ходе исследования была решена научная задача разработки моделей и методов анализа и синтеза планов ККЗ для двухуровневого анализа системы образования с учётом ошибок в измерениях и забывания для баз данных комплексов ККЗ.

Отличие теоретических и эмпирических данных исследования от результатов, полученных другими авторами, состоит в том, что в развитие методов стандартизированного контроля знаний впервые разработаны модель синтеза планов ККЗ с учетом забывания и метод синтеза планов контроля для двухуровневого анализа системы образования при наличии ошибок в измерениях, предназначенные для управления базами данных комплексов ККЗ.

База исследования. Исследование проведено на кафедре моделирования информационных систем и сетей Российского государственного социального университета и в SRH -Высшей школе Гейдельберга (оборудование фирмы Phoenix Contact).

Основные результаты, полученные лично соискателем, и их научная новизна состоят в том, что:

1. Разработаны модели: а) анализа одноступенчатого планагДКЗ с двойным усечением для баз данных комплексов ККЗ, когда контроль прекращается при превышении максимально допустимого числа ошибок и при минимально i 1 достаточном числе правильных ответов для отметки «зачтено», обеспечивающего дополнительное снижение среднего числа задаваемых вопросов для подготовленных обучаемых (студентов), и б) синтеза одноступенчатых и последовательных планов ДКЗ для баз данных комплексов ККЗ, предназначенных для проведения контроля в более ранний момент по требованиям для позднего момента времени и отличающихся учётом забывания.

2. Разработаны: а) методы синтеза одноступенчатого и последовательного планов контроля на втором уровне оценки качества образования по учебной дисциплине, специализации или направлению подготовки по результатам проверки выборки студентов на первом уровне, отличающиеся учётом искажений в измерениях истинности ответов и качества подготовки студентов и ориентированные на базы данных комплексов ККЗ, и б) приближенный метод синтеза одноступенчатых планов четырехбалльного контроля для баз данных комплексов ККЗ по заданным условиям выставления отметок в зависимости от степени неподготовленности студентов и рискам недооценки и переоценки знаний, состоящего в применении трех дихотомий (разбиение на 2 класса подготовки).

3. Разработана диалоговая система "Анализ и синтез планов компьютерного контроля знаний", а также программа и планы ККЗ по курсу \veb-технологий и по теории автоматического регулирования для совместного проекта РГСУ-8БШ Высшей школы Гейдельберга.

4. Обоснованы практические рекомендации по использованию разработанных моделей, методов и диалоговой системы.

Теоретическая значимость исследования состоит в разработке для баз данных комплексов ККЗ: 1) методов синтеза одноступенчатых и последовательных планов контроля для двухуровневого анализа системы образования, когда качество подготовки по учебной дисциплине, специальности и направлению подготовки оценивается по результатам проверки выборки студентов, проводимого с ошибками в измерениях, и 2) модели синтеза одноступенчатых и последовательных планов контроля с учётом забывания учебного материала.

Практическая значимость исследования определяется возможностью применения его результатов в базах данных комплексов ККЗ систем электронного и дистанционного образования, тестирования и сертификации, ЭОР и средств их проектирования, тренажеров, а также в формирующейся общероссийской системе оценки качества образования с целью повышения точности классификации испытуемых и сокращении длительности контроля. Она состоит и в создании диалоговой системы «Анализ и синтез планов компьютерного контроля знаний». Произведена её государственная регистрация во ВНТИЦ, номер регистрации: 50201000377 от 17.03.2010.

Основные положения, выносимые на защиту:

1. Модели анализа одноступенчатых планов ДКЗ, предназначенные для определения среднего объема контроля, отличающиеся ограничением контроля по количеству неправильных и правильных ответов и обеспечивающие сокращение среднего объема или среднего времени контроля, и синтеза одноступенчатых и последовательных планов ДКЗ, предназначенные для определения планов контроля по заданным требованиям к их проведению, отличающиеся учетом забывания и позволяющие проводить контроль в более ранний момент по требованиям для более позднего момента времени, для управления базами данных комплексов ККЗ.

2. Методы синтеза одноступенчатых и последовательных планов ДКЗ и ЧКЗ для двухуровневого анализа системы образования и контроля качества подготовки обучающихся (студентов), состоящие в определении планов по заданным требованиям к их проведению и предназначенные для управления базами данных комплексов ККЗ.

3. Диалоговая система "Анализ и синтез планов компьютерного контроля знаний", предназначенная для определения оперативных характеристик, среднего объема контроля, рисков недооценки и переоценки знаний и других характеристик (задачи анализа планов) и расчета планов контроля по заданным требованиям к их проведению (обратная задача синтеза планов), а также программы и планы ККЗ по курсу шеЬ-технологий и по теории автоматического регулирования для совместного проекта РГСУ-БЯН Высшей школы Гейдельберга.

Апробация и внедрение результатов исследования. Основные результаты диссертации докладывались и обсуждались при проведении следующих научных конференций и чтений: III Всероссийский научно-педагогический конгресс «Воспитательная работа в современном вузе: проблемы, направления и пути совершенствования, Российский государственный социальный университет» (РГСУ), г. Москва, 2003 ; Научные чтения «Социология и информационные технологии в XXI веке», Руза, РГСУ, 2006; 55-я Научно-техническая конференция (НТК) в Московском государственном институте радиотехники, электроники и автоматики технический университет) (МИРЭА), г. Москва, 2006; VI Международный социальный конгресс «Глобализация и будущее Росси» г. Москва, РГСУ, 2006; Зимние научные чтения «Информационные технологии и коммуникационные ресурсы XXI в. в социальной сфере», РГСУ, Руза, 2007; VII Всероссийский социально — педагогический конгресс «Современное социальное образование: опыт и проблемы модернизации», г. Москва, РГСУ, 2007; 56-я НТК, посвященная 60-летию МИРЭА, г. Москва, МИРЭА, 2007; Зимние научные чтения «Технологии информатизации современного российского социума», Руза, РГСУ, 2008; 57-я НТК, г. Москва, МИРЭА, 2008; Зимние научные чтения «Современные информационные технологии: теория и социальная практика», г. Москва, РГСУ, 2009; 58-я НТК МИРЭА, Секция Автоматизированных и информационных ресурсов, технологий и систем, г. Москва, МИРЭА, 2009; Презентация совместного проекта РГСУ и SRH- Высшей школы Гейдельберга на Международном конкурсе «xplore New Automation Award 2005» фирмы Phoenix Contact, Бломберг 2005 (Германия); Научные семинары кафедры моделирования информационных систем и сетей РГСУ. 59-я НТК МИРЭА, Москва (05.2010).

Результаты исследования внедрены:

- в учебный процесс кафедры моделирования информационных систем и сетей РГСУ по ряду учебных дисциплин;

- в совместный проект РГСУ и SRH — Высшей школы Гейдельберга, получившего третью премию на Международном конкурсе xplore New Automation Award 2005 фирмы PhoenixContact;

- в содержание госбюджетного научно-исследовательского проекта «Гуманизация и интеллектуализация информационных технологий и систем социального, гуманитарного и политехнического образования» в рамках аналитической ведомственной целевой программы Минобрнауки РФ «Развитие научного потенциала высшей школы РФ (2009-2011 годы, раздел 2.1.1. «проведение фундаментальных исследований в области естественных наук»)».

Публикации. Основные положения диссертационной работы опубликованы в 12 статьях, из них 3 работы опубликованы в изданиях, рекомендованных ВАК РФ.

Структура диссертации и взаимосвязь отдельных глав.

Диссертация изложена на 141 стр. основного текста, включая 11 таблиц, 72 рисунка, состоит из введения, 3 глав, заключения, списка литературы из 140 наименований и 6 приложений.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Лапин, Виталий Александрович

Выводы по 3-й главе.

В данной главе получены следующие основные результаты:

1. Приведены основные методы анализа и синтеза одноступенчатых, двухступенчатых и последовательных планов двух -, четырех — и пятибалльного контроля знаний по альтернативному признаку, реализованные в разработанной диалоговой системе.

2. Разработано руководство для пользователя диалоговой системы. Оно содержит блок-схему программы, полный список переменных и процедур для более полного понимания работы программы, описание приемов работы с главным меню программы, способов выбора конкретного плана, ввода конкретных параметров для анализа и синтеза планов и способов вывода графиков характеристик плана.

3. Приведены примеры практического применения разработанной диалоговой системы по анализу синтезу планов контроля качества образования. Задача анализа: задан план и для него определяются основные характеристики. Задача синтеза: заданы требования к проведению контроля и по ним рассчитывается план.

4. Работоспособность диалоговой системы проверялась на основе сравнения результатов расчетов вручную и посредством диалоговой системы. Установлено совпадение этих результатов.

5. Представлена система дистанционного обучения по курсу \veb-технологий и для нее разработано руководство пользователя. Для простоты применения системы подробно описаны все действия, которые необходимо проделать пользователю для входа в систему, изучения курса, прохождения обучения и тестирования по курсу \уеЬ-технологий. Так как система сделана как интернет-сайт, то она занимает мало места на диске, не требует предварительной установки и настройки на компьютере пользователя, является переносимой между операционными системами Windows и Linux.

6. Разработаны программы и планы контроля знаний по 11 главам КУК «web-технологий». Применение в системах управления базами данных и знаний этого курса одноступенчатых планов (7,2)а и (11,4)а с двойным усечением, предложенных автором, обеспечивало сокращение среднего числа задаваемых вопросов, а , след., и длительности контроля соответственно примерно на 2/7 = 0.28 и 4/11= 0.36 для подготовленных студентов по сравнению с обычным усеченными одноступенчатыми планами (7,2)6 и (11,4)0.

7. Разработаны совместно с асп. Немсцверидзе программа и планы контроля для совместного проекта Российского государственного социального университета и SRH-Высшей школы Гейдельберга, получившего 3-ю премию на Международном конкурсе xplore New Automation Award 2005 фирмы Phoenix Contact (Бломберг, ФРГ) (грамота в приложении №2). Применение в системах управления базами данных и знаний этого проекта предложенного автором одноступенчатого плана (8,2)ä с двойным усечением позволило сократить среднее число задаваемых вопросов и соответственно длительность контроля для подготовленных студентов примерно на 2/8=0.25 по сравнению с обычным усеченным одноступенчатым планом (8,2)°.

8. Приведены основные характеристики планов контроля, используемых в КУК по web-технологиям и лабораторном практикуме РГСУ - SRH Высшей школы Гейдельберга.

Заключение.

В данном диссертационном исследовании получены следующие основные результаты:

1. Разработана модель анализа предложенного автором усеченного одноступенчатого плана ДКЗ, отличающегося прекращением контроля, когда число неправильных ответов превышает максимально допустимое, или когда число правильных ответов равно минимальному достаточному числу для получения оценки «зачтено», и обеспечивающего сокращение времени контроля.

2. Разработаны методы синтеза одноступенчатого и последовательного планов ДКЗ на втором уровне по результатам контроля выборки студентов на первом уровне при учёте искажений в измерениях истинности ответов и качества подготовки студентов.

3. Разработана модель синтеза одноступенчатых и последовательных планов ДКЗ для его проведения в более ранний момент времени по требованиям для более позднего момента времени (учёт забывания).

4. Разработан приближенный метод синтеза одноступенчатых планов четырехбалльного ККЗ.

5. Разработаны диалоговая система «Анализ и синтез планов компьютерного контроля знаний» на основе предложенных автором моделей и методов анализа и синтеза одноступенчатых и последовательных планов контроля, а также программы и планы контроля по компьютерному учебному курсу «Web-технологий», программа и планы контроля для совместного проекта РГСУ и SRH- Высшей школы Гейдельберга, получившего 3-ю премию на Международном конкурсе фирмы Phoenix Contact (Бломберг, ФРГ).

Применение одноступенчатых планов контроля с двойным усечение (7,2)ди (11,4)д в системах управления базами данных и знаний по курсу «web-технологий» и плана (8,2)д в совместном проекте РГСУ-SRH- Высшей школы Гейдельберга обеспечило сокращение среднего числа задаваемых вопросов (длительность контроля) примерно на 28% (план (7,2)л) и 36% (план (11,4)д) и 25% (план (8,2)д) для подготовленных студентов по сравнению с известными усеченными одноступенчатыми планами (7,2)у, (11,4)у, (8,2)у.

Список литературы диссертационного исследования кандидат технических наук Лапин, Виталий Александрович, 2011 год

1. Арбузов Ю.В., Ахромушкин Е.А., Беляков A.B. и др., Информатизация образования: направления, средства, технологии / Под общ. ред. С.И. Маслова. М.: МЭИ, 2004. - 868 с.

2. Афонин А.Ю., Бабешко В.Н., Булакина М.Б. и др., Образовательные Интернет-ресурсы / Под ред. А.Н. Тихонова и др. — Просвещение, 2004.

3. База и Генератор образовательных ресурсов, http://bigor.bmstu.ru/

4. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. — М.: Информационно-издательский ДОМ »ФИЛИНЪ", 2003. 616 с.

5. Беляев, Ю.К.: Выборочные методы контроля. — М.: Наука, 1975.

6. Беспалько В.П. Образование и обучение с участием компьютера (педагогика третьего тысячелетия). — М.: Изд-во Московского психолого-социального института, 2002

7. Болотов В.А., Ефремов Н.Ф. Система оценки качества российского образования//Педагогика, N 1, 2006.-С.22-31

8. Бондин O.A. Сборник программированных задач по курсу «Теория автоматического управления». Часть I. Линейные непрерывные системы автоматического регулирования (управления, основные характеристики, устройства). — М.: МЭИ, 1964.- 184с.

9. Вайк А., Уокер Д., Кокс Р., PHP. Справочник. М.: ДиаСофт, 2001.

10. Вальд А. Последовательный анализ. М., 1960.

11. Васильев A.C. Компьютерный учебный, контролирующий курс "Веб-технологии" для дистанционного обучения кафедры ИТС. Дипломный проект-М.:МИРЭА, 2006. 177 с.

12. Веллингтон JL, Томсон JI., Разработка веб-приложений с помощью PHP и MySQL. М.: Вильяме, 2004. - 800 с.

13. Викиучебник. http://ru.wikibooks.org/wiki/

14. Гнеденко Б.В. Теория вероятностей. — М.: Наука, 1965.