Математические модели управления знаниями в информационных обучающих системах тема диссертации и автореферата по ВАК РФ 05.13.10, доктор технических наук Жуков, Дмитрий Олегович

• Жуков, Дмитрий Олегович
• доктор технических наук
• 2006

Оглавление диссертации доктор технических наук Жуков, Дмитрий Олегович

Введение.

Глава 1. Основные задачи управления в системах автоматизированного обучения.

1.1. Цель управления знаниями - обеспечение качества образования.

1.1.1. Роль знаний в современном обществе.

1.1.2. Дерево целей управления, качество и мера качества знаний.

1.1.3. Детализация (постановка) задач управления знаниями в АИОС.

1.2. Объектно-ориентированное описание знаний.

1.2.1. Шкалы измерений знаний.

1.2.2. Знание как нечеткое множество.

1.2.3. Выводы.

1.3. Модели представления и управления знаниями в АИОС.

1.4. Управление диагностикой знаний.

1.4.1. Методы контроля знаний.

1.4.2. Модели оценки знаний.

1.4.3. Выводы.

1.5. Управление человеко-машинным общением в АИОС.

1.5.1. Роль человеко-машинного интерфейса в АИОС.

1.5.2. Графический интерфейс пользователя (GUI) в АИОС.

1.6. Взаимодействие различных групп пользователей с АИОС.

1.7. Выводы.

Глава 2. Математические модели управления знаниями.

2.1. Эффективность и управление обучением.

2.2. Модель бинарного информационного потока при управлении представлением знаний.

2.2.1. Формализация модели представления знаний.

2.2.2. Краевые задачи и дифференциальные уравнения Н-го порядка.

2.2.3. Постановка и решение краевых задач при управлении обучением

2.2.4. Количество информации в процессе представления знаний.

2.2.5. Определение числа шагов обучения.

2.2.6. Математическая модель коллективного обучения.

2.3. Модель многопоточного процесса представления знаний.

2.4. Выводы.

Глава 3. Алгоритмы эффективного управления диагностикой знаний

3.1. Алгоритмы диагностики знаний близкие к адаптивному тестированию.

3.1.1. Контроль знаний по методике уточняющих вопросов.

3.1.2. Алгоритм анализа результатов при оценке «зачет-незачет».

3.1.3. Алгоритм анализа результатов при оценке «неудовлетворительно— удовлетворительно—хорошо—отлично».

3.2. Классическая модель адаптивного тестирования.

3.2.1. Расчет трудности заданий.

3.3. Оптимизированная модель адаптивного тестирования.

3.4. Экспериментальная проверка оптимизированной модели адаптивного тестирования.

3.5. Выводы.

Глава 4. Роль человеко-машинного интерфейса при управлении обучением.

4.1. Создание графического интерфейса пользователем.

4.2. Создание графического интерфейса с учетом характеристик пользователя.

4.3 Адаптация графического интерфейса.

4.4. Выводы.

Глава 5. Управление информационными процессами в АИОС.

5.1. Модель данных и структура баз данных обучающих систем.

5.2. Выбор СУБД для автоматизированной обучающей системы.

5.3. Передача и обработка информации в обучающих системах.

5.4. Экспериментальная проверка эффективности обработки информации в АИОС.

Глава 6 . Программная реализация АИОС и проверка разработанных моделей управления.

6.1. Архитектура автоматизированных обучающих систем.

6.2. Подготовка материалов курса для использования в АИОС.

6.3. Реализация процесса обучения.

6.4. Программная реализация разработанных АИОС.

6.5. Экспериментальная проверка эффективности разработанных обучающих систем.

6.6. Выводы.

Основные результаты диссертационной работы.

Введение диссертации (часть автореферата) на тему «Математические модели управления знаниями в информационных обучающих системах»

Актуальность разработки математических и информационных моделей управления знаниями обусловлена как научными целями расширения теоретических представлений о процессах передачи знаний и обучения, так и практическими целями создания более эффективных обучающих систем, внедрение которых должно способствовать обеспечению необходимого качества образования, что напрямую связано с поддержкой Российской национальной образовательной доктрины.

В работе [1] авторами А.И. Субетто, Н.А. Селезневой, Л.А. Майборода, Ю.А. Кудрявцевым было четко обозначено, что «образование — один из ключевых моментов в стратегии выживания России в начале XXI века, реализации концепции ее устойчивого развития, обеспечения всей системы национальной безопасности. Россия сможет выжить только как «образованная, просвещенная Россия», в которой государство вместе с обществом постоянно несет ответственность за темпы повышения среднего образовательного ценза населения. Образовательная политика является ядром всей системы внутренней политики российского государства».

Одним из элементов доктрины образования [1] является его доступность вне зависимости от внешних обстоятельств и различных факторов.

Значительная протяженность территории и сосредоточенность ведущих педагогических кадров в крупных городах делает ограниченным доступ широкой аудитории пользователей к традиционным образовательным ресурсам, что вызывает необходимость разработки и использование автоматизированных информационно-обучающих систем (АИОС) и их размещение в сети Интернет. Построение и проектирование АИОС в значительной степени должно ориентироваться на Мегпе!-технологии. В настоящее время число Мегпе^пользователей в России около 11 млн. человек и составляет от 7% до 15% в зависимости от региона, и по прогнозам специалистов может увеличиться в течение ближайших 5 лет до 25%, что связано с наметившимся экономическим ростом и уменьшением стоимости подключения (за счет увеличения числа пользователей).

Разработка АИОС для сети Интернет должна учитывать необходимость интеграции сетевых ресурсов, которая способна вывести управление развитием образования и его качество на новый уровень. В работе П.И. Дзегелёнок, [2], являющегося учеником Н.А.Селезневой, была осуществлена разработка принципов управления развитием образовательной среды и создания инструментальных средств динамической интеграции сетевых информационных ресурсов. К основным достижениям данного исследования можно отнести разработку апостериорной схемы построения базы данных учебных ресурсов, позволяющую поддерживать растущее информационное поле в актуальном состоянии, что особенно важно для слабоструктурированных ресурсов, извлекаемых из сети Интернет.

Стоит выделить три основных направления использования информационных технологий в образовании:

• обеспечение качества управления образованием;

• общая компьютеризация вузов и развитие информационно-вычислительных сетей;

• обеспечение качества обучения.

К сожалению, направленность данной работы не позволяет подробно обсудить все аспекты использования информационных технологий в образовании и обеспечении его необходимого качества. Компьютеризация вузов и развитие информационно-вычислительных сетей являются очень важным фактором обеспечения качества образования, но выходят за рамки обсуждения в данной работе.

Задачи управления и обеспечения качества образования по своей природе и в силу сложности систем, для которых они должны быть решены очень близки к задачам нечеткой оптимизации и принятия решений при нечетких состояниях среды и условиях некоторой неопределенности.

Решение подобных задач хорошо описано в работах профессора А.С.Рыкова [3,4].

Использование информационных технологий в обеспечении качества управления является хорошо проработанной сферой научной и технической деятельности и в этой связи можно упомянуть ряд работ профессоров А.Г. Дьячко и И.И. Дзегелёнок [например, 5 и 6], которые много сделали для использования информационных технологий в планировании и управлении учебным процессом, и обеспечении качества образования.

Нельзя не отметить, что одним из первых, кто начал развитие в России использования АИОС в обучении является директор научно-исследовательского института высшего образования, профессор Савельев А .Я.

Проблема обеспечения и управления качеством обучения в значительной степени может быть решена путем использования компьютерных обучающих программ и АИОС, что нашло свое отражение в работе профессора Елисова Л.Н. [7], работе [8] проводимой под руководством сотрудника Исследовательского центра проблем качества подготовки специалистов Ж.Н.Зайцевой и многих других работах.

Одним из мощных стимулов дальнейшего развития АИОС является рост рынка информатизации, составляющий 20% в год, и смещение приоритетов развития в постиндустриальном обществе в сторону информационных технологий.

Поскольку обучение и передача знаний затрагивают различные социальные группы, то процесс управления знаниями необходимо рассматривать, используя методы и модели теории управления и принятия решений в социальных системах. При решении задач управления обучением необходимо учесть, что в данном случае объектом управления является не физический объект, а система человек-компьютер, что является гораздо более трудной для формализации задачей. Представление знаний в данном случае имеет более широкий смысл, чем просто формализация предметной области, т.е. совокупность декларативных методов, семантических сетей, формальных грамматик и т.д. Его необходимо рассматривать как совокупность процессов, включающих формализацию знаний, передачу их пользователю (обучение), усвоение и диагностику (для организации обратных связей).

Прежде чем приступить к формулировке задач управления знаниями и описанию их математических моделей необходимо дать определения следующим понятиям и категориям: что такое знание, как можно измерить знание, что такое представление знаний, зачем нужно управлять знаниями и каковы основные задачи управления этим процессом. Определение смыслового значения категории «знание» позволяет ввести измерение знания и, соответственно, после этого определить, в какой форме должно осуществляться представление знаний. Однако управление знаниями является более сложным вопросом, чем просто представление знаний, поскольку природа и математические модели процессов трансформации представления знаний в образ знаний (или знания) у объекта, которому они были представлены, остаются малоизученными. Любой процесс обучения и управления обучением должен быть направлен не на представление знаний, а на то, чтобы эти знания были усвоены, что невозможно без исследования и разработки математических моделей обучения, чему и посвящена настоящая работа. Естественно, математические модели должны опираться на ту или иную форму представления знаний и их измерения, поэтому построение моделей обучения невозможно без их обсуждения.

Знание как философская категория имеет очень глубокий и многогранный смысл, подробное описание которого просто не представляется возможным. Для этой философской категории можно дать следующее весьма упрощенное определение: знание - это форма существования и систематизации результатов познавательной деятельности человека. Выделяют различные виды знания: обыденное («здравый смысл»), личностное, неявное и т.д. Научному знанию присущи логическая обоснованность, доказательность, воспроизводимость познавательных результатов. Всякая интеллектуальная деятельность, в том числе и обучение, опирается на знания, в которые следует включать характеристику текущей ситуации, оценку возможности выполнения тех или иных действий, законы того мира, в котором выполняются действия и т.д. Даже такой краткий обзор показывает необъятность и многогранность феномена «знание». Формулировка задачи управления знаниями должна начинаться с формализации описания модели, а условия управления и характеристики управляющих воздействий должны быть основаны на диагностике знаний и ее объективных критериях. Целенаправленная система управления должна обеспечивать достижение поставленных задач, относящихся к некоторым классам состояний обучаемых (связанных с оценкой уровня их знаний и возможностью достижения других состояний). Для каждого класса состояний в системе должна быть реализована последовательность управляющих воздействий, приводящих к желаемому результату. Причем именно это является первоочередной задачей при разработке управления автоматизированных информационно-обучающих систем, поскольку задачи управления базами данных, базами знаний и потоками учебной информации в значительной степени определяются именно моделями, на основе которых работает система, а не существующими аппаратными средствами и сетевыми технологиями. При построении математических моделей управления знаниями возникает необходимость большей детализации и сужения понятия знания. Пусть имеется некоторая предметная область знаний, например, определенная учебная дисциплина (философия, астрономия, биология, математика, химия, физика и т.д.). Каждая предметная область имеет свой набор взаимосвязанных по определенным законам элементов, которые составляют содержание учебной дисциплины. В множество этих элементов могут входить тезаурус, определения, законы, правила, теоремы, аксиомы, леммы, формулы, основные понятия и т.д. Сами эти элементы могут быть представлены в различных формах: декларативной, процедурной или какой-либо иной.

Процедурные знания описывают последовательность действий, которые могут использоваться при решении каких-либо задач, декларативные знания, как правило, носят характер некоторых утверждений. Однако в любом случае необходимо каким-либо образом представлять эти знания, и, кроме того, контролировать, насколько хорошо были усвоены представленные знания.

Управление знаниями должно опираться на их диагностику, которая способна: во-первых, оптимизировать процесс индивидуального обучения, во-вторых, обеспечить правильное определение результатов обучения и, руководствуясь выработанными критериями, свести к минимуму ошибки при выборе стратегии действий обучающей системы. Диагностика должна быть направлена на решение двух основных задач:

- управление обучением;

- повышение эффективности обучения; и ориентироваться на следующие цели:

- внутренняя и внешняя коррекция в случае неверной оценки результатов;

- определение пробелов и подтверждение успешных результатов обучения;

- планирование последующих этапов (итераций) учебного процесса.

Для того чтобы формировать управляющее воздействие при обучении и работать со знаниями, необходим, измеритель (инструмент) с помощью которого можно определять уровень знаний (их величину) или их соответствие некоторой экспертной оценке.

В настоящее время существует множество различных измерительных шкал и подходов к описанию измерений. В классическом понимании [9] измерение - это алгоритмическая операция, которая данному наблюдаемому состоянию объекта, процесса и т.д. ставит в соответствие определенное обозначение: число, номер, символ, определение и т.д. Данное соответствие обеспечивает то, что результаты измерений содержат информацию об объекте или его состоянии, а количество информации зависит от степени полноты этого соответствия.

Среди применяющихся шкал можно выделить: Шкалы наименований (номинальные шкалы)', Порядковую шкала; Шкалы интервалов', Шкалы отношений и другие.

С точки зрения управления знаниями использование для измерений шкал наименований и порядковых шкал более подходит для качественных характеристик обучения, т.к. они имеют описательный характер и часто не позволяют корректно определять количественную величину управляющего воздействия. Использование абсолютной шкалы невозможно, поскольку в шкале знаний нельзя указать абсолютный нуль и единицу. Однако возможно использование шкалы интервалов с условными нулем и единицей и, при определенных условиях, шкалы отношений.

Представление знаний можно определить как представление элементов, составляющих предметную область, и их взаимосвязей друг с другом. Все более возрастающие информационные потоки, с которыми сталкивается человек, привели к необходимости использования компьютерных автоматизированных обучающих систем и, как следствие, к необходимости формализации представления знаний.

Можно выделить три типа формальных моделей представления знаний: логическую, сетевую и продукционную. Логическая модель представляет собой, как правило, некоторую формальную систему исчислений, обычно это бывает исчисление предикатов первого порядка. Все знания о предметной области описываются в виде формул этого исчисления или так называемых правил вывода.

Более наглядной оказывается сетевая модель представления знаний, согласно которой любые знания можно представить в виде совокупности конечного числа объектов (понятий) и связей (отношений) между ними.

Простейшие отношения между объектами называются базовыми, а все остальные могут быть выражены через них, как некоторые комбинации. Данный подход лежит в основе так называемых семантических сетей. Все понятия, входящие в сеть, описываются в виде фреймов — минимально возможного описания сущности какого-либо явления, события, ситуации и т.д. Каждый фрейм состоит из элементарных единиц — слотов (причем в качестве слотов могут выступать новые фреймы и т.д.). Для того чтобы представить семантическую сеть в виде совокупности фреймов необходимо представлять отношения между вершинами сети.

Основу продукционной модели составляют системы продукций. Каждая продукция в наиболее общем виде записывается как стандартное выражение следующего вида: Имя продукции Имя сферы Предусловие Условие для ядра

Если «А» то «В» (А и В имеют разные значения) Постусловие

Каждая из форм представления знаний послужила в свое время основой для создания языка программирования, ориентированного на работу со знаниями (например, язык Frame Representation Language, основанный на фреймовых представлениях, и язык Пролог, опирающийся на модель представления в виде продукций).

Машинные формы обучения подразумевают создание баз знаний большого размера, что является очень сложным. Поскольку необходимо не только накапливать знания и представлять их выбранным способом, но и проверять их полноту и непротиворечивость.

Измерение и представление знаний является в настоящее время достаточно хорошо изученным вопросом [10]. Однако в управление знаниями необходимо включить и процессы преобразования представления знаний в знания, которые формируются у объекта обучения, что является еще мало изученной научной областью. При работе со знаниями, в силу их специфических свойств, возникают существенные трудности. Несмотря на то, что любые знания являются моделью объективной реальности, сами знания также можно рассматривать как реально существующий объект. Однако любое представление знаний всегда основывается на определенной модели, и уже в силу этого является ограниченным и неполным по сравнению с самим знанием. Объект (например, учащийся), получает представление знаний, которые он трансформирует в собственное представление знаний. Априори неизвестно, какие процессы происходят при такой трансформации, т.е. объект представляет собой «черный ящик», на вход в который передаются некоторые входные данные и оказывается управляющие воздействие, основанное на информации, полученной на выходе. В результате представления знаний объекту и их усвоения, у объекта формируется свой образ представления знаний. При контроле усвоения знаний, строго говоря, объект возвращает не знания, как таковые, не представление знаний, и даже не образ представления знаний, а свое представление образа представления знаний (см. рис.1). Задачей контроля является сопоставление образа представления знаний сформировавшегося у объекта с экспертной оценкой знаний (например, знаниями преподавателя в данной предметной области), которую мы принимаем за основу измерений. формирование образа^Ч к. представления знаний }

Рис.1. Упрощенная схема превращения знаний в образ знаний у объекта обучения

На основании отличия отклика объекта от эталона необходимо сформировать управляющее воздействие и таким образом управлять представлением знаний, чтобы после цикла обучающих воздействий величина отличия соответствовала бы заранее установленному значению.

С научной и теоретической точки зрения разработка математических и информационных моделей управления знаниями в автоматизированных информационно-обучающих системах представляет существенный интерес:

• Человеко-машинное общение и обучение является одним из наиболее сложных и малоизученных информационных процессов (в существующих автоматизированных информационных обучающих системах АИОС нет адекватных математических моделей описывающих процесс обучения человека компьютерной системой).

• Наличие человеческого фактора делает процесс взаимодействия человек-компьютер в некоторой степени непредсказуемым (вероятностным). Кроме того, необходимо учитывать психофизиологические особенности конкретного пользователя и особенности его индивидуальной работы с обучающей системой. Автоматизированные информационно-обучающие системы (АИОС), в силу присутствия человеческого фактора, действие которого имеет психофизическую природу, можно отнести к классу стохастических систем управления [11-15]. Процессы в которых (при определенных условиях), можно рассматривать как полумарковские процессы (вероятность перехода при которых из одного состояния в другое зависит как от этого состояния, так и от состояния, в которое будет осуществлен следующий переход [11-13,16]). Подобный подход получил фундаментальное обоснование и развитие в работах профессора А.П.Свиридова [11-13]. В любых стохастических системах, в том числе и в АИОС стратегией управления, обеспечивающей необходимые уровень и точность управления (мера возможности достижения системой управления заданной цели) является прогнозирование событий. В данном случае прогнозирование это вероятностная оценка достижения будущего состояния системы на основе минимальной и достаточной информации о прошлых и настоящих входных сигналах, прошлом управлении и его результатах) и упреждающая реализация управления на объект управления.

• Имеющиеся возможности информационных технологий по обработке и передаче данных уже существенно превосходят возможности человека по их усвоению, что определяет необходимость адаптации человеко-машинного взаимодействия и разработки новых подходов к созданию человеко-машинных интерфейсов.

Цель исследования. Разработка математических моделей эффективного управления знаниями, позволяющих достигнуть заданного уровня обученности индивидуальных и коллективных пользователей за наименьшее время и число шагов обучения.

Задачи исследования

• разработка методов формализации задач управления процессами усвоения знаний в обучающих системах;

• разработка математических и информационных моделей управления процессами усвоения знаний с учетом диагностики знаний;

• разработка методов и алгоритмов управления процессами восприятия знаний и процессами машинного обучения с учетом информационных потребностей коллективных и индивидуальных пользователей;

• разработка эффективных алгоритмов, позволяющих при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний, которая необходима для установления обратных связей при управлении процессами усвоения знаний;

• разработка методов и правил построения наиболее эргономичных для данного пользователя графических человеко-машинных интерфейсов, повышающих эффективность управления за счет того, что использование системы становится более удобным;

• разработка программного обеспечения АИОС, и экспериментальная проверка на их базе предлагаемых в данной работе математических и информационных моделей процессов управления восприятием знаний, методов работы со знаниями, методов машинного обучения, методов построения наиболее эргономичных для данного пользователя графических интерфейсов и эффективных алгоритмов диагностики знаний.

Объект и предмет исследования. Объектом исследования являются процессы управления восприятием знаний, а предметом исследований разработка эффективных математических и информационных моделей управления процессами восприятия знаний на дисциплинарном уровне для отдельных пользователей и их групп, с целью повышения качества образования.

Методы исследования. Для реализации намеченных целей и решения задач были использованы следующие методы и технологии:

• математическая статистика;

• операционное исчисление;

• теория принятия решений;

• методы системного анализа;

• методы оптимизации. Научная новизна

• Разработаны методы формализации задач управления процессами восприятия знаний, при которых процессы обучения, рассматриваются как совокупность случайных переходов между соседними состояниями, описывающими изучаемую информационную систему.

• Разработаны математические модели управления знаниями, в которых для процессов обучения были получены как гиперболические, так и параболические дифференциальные уравнения Н-го порядка, на основе которых были сформулированы и решены краевые задачи (с различными граничными условиями), учитывающие как личностные характеристики пользователей, так и особенности информационных процессов обучения в группе.

• Определено количество учебной информации, передаваемой на одном шаге обучения пользователю или группе (в зависимости от индивидуальных характеристик), для того чтобы работа системы была наиболее эффективной.

• На основе созданных моделей разработаны новые алгоритмы и методы машинного обучения и диагностики знаний, позволяющие при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний, которая необходима для установления обратных связей при управлении процессами усвоения знаний и обучение.

• Исследованы некоторые модели человеко-машинного общения. На основе полученных результатов разработаны новые теоретические и практические принципы построения наиболее эргономичных, для данного пользователя графических интерфейсов (созданных с учетом его психофизиологических особенностей), что должно способствовать более эффективному управлению процессом предоставления знаний.

Практическая значимость. Практическая значимость диссертации состоит в том, что использование в учебном процессе АИОС, созданных на основании результатов полученных в работе, приводит к увеличению среднего балл на экзамене по сравнению с контрольными группами примерно на 0,4-0,2 балла и уменьшению количества необходимого для обучения времени примерно в 1,5-2,0 раза. Автоматизированные компьютерные системы диагностики знаний, работающие по адаптивным алгоритмам, разработанным в диссертации позволяют при сохранении надежности полученных результатов уменьшить затраты труда и времени на диагностику знаний.

Достоверность полученных в диссертации результатов, выводов и рекомендаций подтверждается результатами практического использования.

На основании математических и информационных моделей, полученных в диссертационной работе было создано несколько прикладных компьютерных программ, внедренных в ряде вузов. В частности было внедрено:

• сетевая система тестирования знаний, с элементами искусственного интеллекта;

• сетевой мультимедийный лабораторный практикум по курсу общей физики;

• сетевой мультимедийный лабораторный практикум по аналитической химии «Основы количественного химического анализа»;

• Интернет система обучения, диагностики знаний и психологического тестирования.

В Российском университете дружбы народов (РУДН) на ФПК внедрены компьютерные обучающие программы и системы тестирования знаний.

На разработки, выполненные по результатам диссертации, получено 11 свидетельств о регистрации программ для ЭВМ и 2 свидетельства о регистрации баз данных (выданные РОСПАТЕНТом), 8 свидетельств выданных отраслевым фондом алгоритмов и программ Министерства образования РФ (ОФАП).

Практическая значимость полученных в диссертации результатов подтверждается дипломами и наградами, полученными за разработки, выполненные на основе диссертационной работы. Среди наград можно упомянуть дипломы Московского инженерно-технического института (технический университет), золотые и серебреные медали международных выставок.

Начиная с 2002 года, и на протяжении ряда лет, полученные в данной диссертации результаты используются для разработки программного обеспечения, создаваемого в рамках Межвузовской комплексной работы

Инновационные технологии образования», проводимой Федеральным

Агентством по образованию РФ.

Основные положения выносимые на защиту

1. Методы формализации задач управления процессами усвоения знаний, в которых процесс обучения рассматривается как переход между соседними состояниями (величина знаний в которых выражается в оценочных единицах-баллах). При величине знаний ^ , предоставляемой объекту обучения на шаге обучения Ь, его балл из состояния (к-1) может переходить в состояние к, кроме того, изменение состояния к может осуществляться и за счет перехода к+1—а процесс обучения можно рассматривать, или как бинарный (двухпоточный) или как многопоточный (четырехпоточный) информационный случайный процесс.

2. Процесс управления знаниями при обучении можно описать как краевую задачу с помощью неоднородных дифференциальных уравнений второго порядка (как гиперболического (для двухпоточного процесса), так и параболического (для четырехпоточного процесса) типа), учитывающих не только процесс «механического» накопления учебной информации объектом обучения в зависимости от числа шагов обучения, но и структуризацию знаний. Суть сформулированных краевых задач заключается в следующем:

• При индивидуальном обучении: На границе отрезка распределения г =0 баллов Л должно выполняться граничное условие "отражения" (т.е. баллы не могут уменьшаться и выходить в область отрицательных значений). На границе ^ ^ отрезка распределения баллов необходимо, чтобы выполнялось граничное условие "поглощения" (т.к. пользователь, достигший заданный уровень в Ь баллов заканчивает обучение). Каждый пользователь, имея начальный балл равный некоторому должен после общения с системой, через некоторое число шагов обучения достигнуть уровня обученности в L баллов, или в противном случае процесс обучения должен продолжаться. • Для модели коллективного обучения (группы) необходимо учитывать, что знания группы в целом характеризуются функцией распределения p(x*t= 0) п Поэтому, плотность вероятности получить при тестировании балл равный нулю должна быть равна нулю, а знания некоторых субъектов обучения могут превосходить уровень L, но процесс обучения продолжается, а достижение бесконечно большой величины баллов не возможно (равно нулю).

Полученные решения описывают, как индивидуальную восприимчивость пользователей к обучению, так и особенности процессов обучения группы.

3. Решения сформулированных краевых задач, которые позволяют определить необходимое количество учебной информации, передаваемой на одном шаге обучения объекту обучения (в зависимости от его характеристик), для того чтобы процесс был наиболее эффективным (заданное состояние обученности было бы достигнуто за наименьшее число шагов).

4. Алгоритмы и методы машинного обучения и диагностики знаний, полученные на основе представленных в диссертации математических и информационных моделей управления процессами усвоения знаний.

5. Адаптивная модель диагностики знаний, позволяющая уменьшить число вопросов и затраты времени при тестировании. В представленной модели максимальное число вопросов, которые необходимо задать пользователю для точной оценке его уровня подготовленности не превосходит где N-число уровней трудности вопросов).

6. Новые методы и правила создания более эргономичных графических пользовательских интерфейсов (GUI), (созданных с учетом психофизиологических особенностей пользователя и тем самым повышающих эффективность управления знаниями, за счет адаптации человеко-машинного взаимодействия). Апробация работы

Основные результаты диссертационной работы докладывались на:

• Международной конференции «Научная сессия МИФИ-2006», 23-27 января 2005 г., Москва, Россия.

• Международной конференции "Научная сессия МИФИ-2005", 24-28 января 2005 г., Москва, Россия.

• VII Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права», 1-5 октября 2004 г., Сочи, Россия.

• X Международной конференции «Современные технологии обучения СТО-2004», 21-22 апреля 2004 г., С.-Петербург, Россия.

• Международной конференции «Интернет-образование» (Web-Based Education - 2004), 16- 18 февраля 2004 г., Инсбрук, Австрия.

• Международной конференции «Научная сессия МИФИ-2004», 26-30 января 2004 г., Москва, Россия.

• VI Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права», 6-9 октября 2003 г., Сочи, Россия.

• XI Международной школе - семинаре «Новые информационные технологии», 20-23 мая 2003 г., Судак, Украина.

• IX Международной конференции «Современные технологии обучения СТО-2003», 23 апреля 2003 г., С.-Петербург, Россия.

• Международной конференции «Научная сессия МИФИ-2003», 20-24 января 2003 г., Москва, Россия.

• II Всероссийской научно-технической конференции «Проблемы информатики в образовании, управлении, экономике и технике», 26-27 ноября 2002 г., Пенза, Россия.

• Международной конференции «Научная сессия МИФИ-2002», 21-25 января 2002 г., Москва, Россия.

• Научно-технических семинарах кафедр «Автоматизированные системы обработки информации и управления» и «Вычислительные машины, комплексы, системы и сети» Московской государственной академии приборостроения и информатики.

Публикации. По теме диссертационной работы было опубликовано более 80 научных работ (13 из которых в указанных ВАК ведущих рецензируемых научных журналах и изданиях, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора наук). Монография: Жуков Д.О. Программное обеспечение мультимедийных систем обучения и диагностики знаний, М.: «Радио и связь», 2003. - 432с. Получено 11 авторских свидетельств, выданных РОСПАТЕНТ на программы для ЭВМ и 2 авторских свидетельства на базы данных. Кроме того, получено 8 авторских свидетельств, выданных ОФАП на компьютерные программы, 8 дипломов и 3 медали различных выставок.

Структура и объем диссертационной работы. Диссертация состоит из введения, 6 глав с 12 таблицами и 62 иллюстраций (рисунки, графики, схемы, экранные формы и т.д.), заключения, приложения и библиографического списка, состоящего из 201 названия. Общий объем работы составляет 342 страницы.

Заключение диссертации по теме «Управление в социальных и экономических системах», Жуков, Дмитрий Олегович

Основные результаты диссертационной работы

1. Разработаны новые методы формализации задач управления процессами усвоения знаний. Расплывчатость границ знания и множественность взаимосвязей между элементами предметной области позволяет при формализации задач управления знаниями рассматривать процесс обучения как совокупность случайных переходов между соседними состояниями, описывающими знания объекта (субъекта) обучения. При величине знаний ^ , предоставляемой объекту обучения на шаге обучения к, его балл из состояния (к-1) может переходить в состояние к, кроме того, изменение состояния к может осуществляться и за счет перехода к+1-^к. Величина знаний в любом из состояний выражается в оценочных единицах-баллах и может принимать некоторые значения от 0 до N. Процесс обучения можно рассматривать или как бинарный (двухпоточный), или как многопоточный (четырехпоточный) информационный случайный процесс.

2. На основе разработанной формализации задач управления знаниями для процессов обучения были получены неоднородные дифференциальные уравнения второго порядка (как гиперболического типа (для двухпоточных процессов), так и параболического (для четырехпоточных)), учитывающие не только процесс «механического» накопления учебной информации объектом обучения в зависимости от числа шагов обучения, но и структуризацию знаний. Это позволяет сформулировать и решить ряд краевых задач с граничными условиями различного типа, суть которых заключается в следующем:

• При индивидуальном обучении: на границе отрезка распределения баллов X 0 должно выполняться условие «отражения» (т.е. баллы не могут уменьшаться и выходить в область отрицательных значений).

На границе х £ отрезка распределения баллов необходимо, чтобы выполнялось условие «поглощения» (т.к. пользователь, достигший заданного уровня в Ь баллов заканчивает обучение). Каждый пользователь, имея начальный балл равный некоторому ^ , должен после общения с системой, через некоторое число шагов обучения достигнуть уровня обученности в Ь баллов, или в противном случае процесс обучения должен продолжаться. • Для модели коллективного обучения (группы) необходимо учитывать, что знания группы в целом характеризуются функцией распределения г . Поэтому плотность вероятности получить при тестировании балл, равный нулю, должна быть равна нулю, а знания некоторых субъектов обучения могут превосходить уровень Ь, но процесс обучения продолжается, а достижение бесконечно большой величины баллов невозможно (равно нулю). Полученные решения описывают как индивидуальную восприимчивость пользователей к обучению, так и особенности обучения группы.

3. Решение сформулированных в работе краевых задач позволяет определить методами имитационного моделирования необходимое количество учебной информации, передаваемой на одном шаге обучения объекту обучения (в зависимости от его характеристик), для того чтобы процесс был наиболее эффективным (заданное состояние обученности было бы достигнуто за наименьшее число шагов).

4. На основе полученных теоретических результатов и имитационного моделирования разработаны новые алгоритмы и методы машинного обучения и диагностики знаний, что позволяет разрабатывать АИОС для любых предметных областей, без предварительной жесткой структуризации знаний и сделать процесс разработки АИОС и обучения более технологичным и менее трудоемким.

5. При исследовании адаптивных моделей диагностики знаний были получены результаты, позволяющие оптимизировать алгоритм диагностики знаний при одновременном сохранении качества получаемой информации и качества управления знаниями. Даны ответы на такие важные вопросы как: какова должна быть величина шага между трудностью вопросов при последовательных правильных ответах и какова должна быть величина шага трудности для испытуемого, чей уровень подготовленности лежит вблизи максимума уровня трудности вопросов? Можно ли уменьшить число вопросов при адаптивном тестировании? В частности, было определено, что максимальное число вопросов, которое необходимо задать пользователю для точной оценки уровней трудности вопросов в базе тестирования). Это уменьшает затраты времени при сохранении необходимого качества управления знаниями.

6. С учетом созданных математических моделей процессов управления знаниями и информационных моделей разработаны принципы построения баз данных обучающих систем, учитывающих динамику процессов обучения. Проведены экспериментальные исследования и анализ процессов передачи и обработки информации в АИОС, на основании которого показано, что при использовании современного аппаратного обеспечения быстрая и бесперебойная работа обучающей системы может быть реализована в рамках модели бесприоритетного обслуживания заявок, а в качестве системы управления базой данных можно выбрать практически любую доступную сетевую реляционную

7. Решена задача обеспечения адаптации графического пользовательского интерфейса (GUI) обучающей системы к конкретному пользователю, что повышает ее эффективность в управлении процессами усвоения знаний его уровня подготовленности, не превосходит

СУБД. за счет увеличения эргономичности. На основе психофизиологических исследований были разработаны методы и правила создания адаптивных графических пользовательских интерфейсов (GUI). Было обнаружено, что для каждого пользователя существует свое среднее время отклика на различные события, происходящие на экране монитора, которое обучающая система может использовать для создания наиболее эргономичного для данного пользователя графического интерфейса.

8. Исходя из математических и информационных моделей процессов управления усвоением знаний и взаимодействия пользователей с АИОС, а также моделей передачи и обработки информации в АИОС, была разработана общая архитектура систем подобного класса. При разработке данных систем были использованы алгоритмы машинного обучения, полученные на основе результатов имитационного моделирования проведенного в главе 2, алгоритмы эффективного адаптивного обучения, разработанные в главе 3, и методы построения наиболее эргономичных пользовательских графических интерфейсов (глава 4).

9. На основе программной реализации АИОС для различных областей знания (физика, химия, изучение языков) осуществлена экспериментальная проверка:

• разработанных математических и информационных моделей процессов управления восприятием знаний, методов работы со знаниями, методов машинного обучения математических моделей управления знаниями;

• методов построения наиболее эргономичных для данного пользователя интерфейсов;

• эффективных алгоритмов адаптивной диагностики знаний, которая показала справедливость предлагаемых в диссертации математических моделей.

Список литературы диссертационного исследования доктор технических наук Жуков, Дмитрий Олегович, 2006 год

1. Дзегеленёнок П.И. Управление развитием образовательной среды на основе интеграции сетевых информационных ресурсов: диссертация на соискание ученой степени кандидата технических наук. — М. — 2000.

2. Дзегелеленок И.И. Информационные технологии в управлении качеством образования // Труды Исследовательского центра проблем качества подготовки специалистов. — Москва, 2004. — 67 с.

3. Елисов JI.H. Структура и принципы построения автоматизированных обучающих систем. М.: МИИГА, 1986.

4. Ларин Д.А. Механизм генерации компьютерных обучающих программ как средство управления качеством обучения: диссертация на соискание ученой степени кандидата технических наук. — М. — 2000.

5. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ. — М., «Высшая школа», 1989. — 367 с.

6. Субетто А.И. Квалиметрия. — С-Пб.: Астерион, 2002. — 288 с.

7. Свиридов А.П. Введение в статистическую теорию обучения и контроля знаний. 4.2 Элементы статистической динамики знаний. М.: МЭИ, 1974.- 152 с.

8. Свиридов А.П. Разработка и исследование систем автоматизированного обучения на базе статистических моделей: диссертация на соискание ученой степени доктора технических наук, — М. — 1984. 427 с.

9. Свиридов А.П. Основы статистической теории обучения и контроля знаний. М.: Высшая школа, 1981. - 262 с.

10. Коган А.Б. Биологическая кибернетика. — М., «Высшая школа», 1977.

11. Трифонов Е.В. Прогнозирование — общий принцип управления в физиологических системах // 2-я Международная конференция по основным проблемам бионики, АН СССР. — М-Л., 1978. — С.74-75.

12. Майн X., Осаки С. Марковские процессы принятия решений. — М., «Наука», 1977. — 175 с.

13. Обучающие машины, системы и комплексы: Справочник / Под общ. ред. А.Я. Савельева. — Киев: Высшая школа, 1986. — 303 с.

14. Машбиц Е.И., Андриевская В.В., Комиссарова Е.О. Диалог в обучающей системе — Киев: Высшая школа. Головное изд-во, 1989. — 183 с.

15. Hurtley R. Computer assisted learning // Human interaction with computer, 1998. —P. 129-159.

16. Стрикелова JI.B., Пискунов М.У., Тихонов И.И. Организация учебного процесса с помощью АОС: педагогические основы. — Минск: Изд-во Белорусского университета, 1986. — 95с.

17. Машбиц Е.И. Компьютеризация обучения: Проблемы и перспективы. //Информатика и образование, 1986.— №1. — С.110-127.

18. Гофер А.М, Левин H.A. Диалоговые системы обучения на персональных ЭВМ //Информатика и компьютерная грамотность.— М.: Наука 1988.— С. 176-186.

19. Представление и использование знаний /Под ред. X. Уэно, М. Исидзука. — М.: Мир, 1989. — 220 с.

20. Минский М. Фреймы для представления знаний. — М.: Мир, 1979. — 151 с.

21. Кесс Ю.Ю. Анализ и синтез фреймовых моделей АСУ. — М.: Энергоатомиздат, 1986.— 169с.

22. Селезнева H.A. Качество высшего образования как объект системного исследования. Лекция-доклад. — М.: Исследовательский центр проблем качества подготовки специалистов, 2002. — 95 с.

23. Субетто А.И. Качество непрерывного образования в Российской Федерации: состояние, тенденции, проблемы и перспективы. — СПб-М.: Исследовательский центр проблем качества подготовки специалистов, 2000. — 498 с.

24. Горленко O.A. Менеджмент качества: анализ основных определений // Методы менеджмента качества. — 2004. — № 12. — С.34-36.

25. Давыдова Л.Н. Различные подходы к определению качества образования // Качество. Инновации. Образование. — 2005. — № 2. — С.5-8.

26. Бордовский Г.Л., Нестеров A.A., Трапицын С.Ю. Управление качеством образовательного процесса. — СПб.: Изд-во РГПУ им. А.И. Герцена, 2001. —359 с.

27. Субетто А.И. Квалитология образования. — СПб.-М.: Исследовательский центр проблем качества подготовки специалистов, 2000. —220 с.

28. Субетто А.И. Технология сбора и обработки информации в процессе мониторинга качества образования (на федеральном уровне). СПб. — М.: МЦПКПС, 2000.-49 с.

29. Литвак Б.Г. Экспертные оценки и принятие решений. — М.: Патент, 1996, —271 с.

30. Литвак Б.Г. Автоматизированные системы экспертного оценивания и аккредитация. // Труды центра/Исследовательский центр проблем качества подготовки специалистов. — М, 1993 — 143 с.

31. Бегенау З.Г. Функция, форма, качество. — М.: Мир, 1969. — 168 с.

32. Баер Г. и др. Контроль и качество продукции. — М.: Прогресс, 1968.

33. Льюс Р., Галантер Р. Психофизические шкалы //Психологические измерения. — М.: Мир, 1967.

34. Гаспарский В. Праксеологический анализ проектно-конструкторских разработок. — М.: Мир, 1978. —170 с.

35. Лопухин М.М. Метод планирования и прогнозирования научных работ.

36. М.: Советское радио, 1971.— 160 с.

37. Пью Р.У. Принципы переработки информации человеком и теория систем // Справочник по системотехнике. — М.: Советское радио, 1970.

38. Ларичев О.И. Теория и методы принятия решений. — М.: Логос, 2000.296 с.

39. Титов A.B.Формализованное описание комплексной модели оценки в задаче управления качеством (на примере квалиметрии высшей школы): диссертация на соискание ученой степени кандидата технических наук.1. М.— 1998.— 184 с.

40. Новое качество высшего образования в современной России. Концептуально-программный подход //Под научной ред. Н.А.Селезневой и А.И.Субетто. -М.:ИЦ, 1995. — 200с.

41. Субетто А.И. Введение в квалиметрию высшей школы. Кн.1. — М.:ИЦ, 1991. —96с.

42. Субетто А.И. Введение в квалиметрию высшей школы. Кн.2. — М.:ИЦ, 1991.— 122с.

43. Субетто А.И. Введение в квалиметрию высшей школы. Кн.З. — М.:ИЦ, 1991.—171с.

44. Субетто А.И. Введение в квалиметрию высшей школы. Кн.4. — М.:ИЦ, 1991.— 163с.

45. Субетто А.И. Системологические основы образовательных систем: Часть 1. —М.:ИЦ, 1994. —284 с.

46. Субетто А.И. Системологические основы образовательных систем: Часть 2. — М.:ИЦ, 1994, —312 с.

47. Субетто А.И. Квалиметрия человека и образования. Методология и практика. — М.:ИЦ, 1994. — 242 с.

48. Игценко В.В. Разработка методологии функционально-сетевого мониторинга технологии подготовки специалистов высших учебных заведений: диссертация на соискание ученой степени доктора технических наук. — М. — 2004. 372 с.

49. Черчмен У., Акофф Р., Арноф JI. Введение в исследование операций. — М.:Наука, 1968. —486 с.

50. Моисеев В.Б., Андреев А.Б., Кузнецов A.A. и др. Адаптивная автоматизированная информационная система анализа знаний // МГОУ-XXI-Новые технологии. — № 3, 2001. — С. 25-29.

51. Мухин О.И. Компьютерная инструментальная среда «Слоистая машина» — Пермь: Изд-во Пермского политехнического ин-та., 1997. — 46 с.

52. Вихрев В. Authorware Professional в свете исторических задач центра ExMultimedia // КомпьютерПресс. — Вып.8, 1997. — С.51-56.

53. Пирогов С. HyperCard, HyperStudio, SuperCard: сравнение основных характеристик //КомпьютерПресс. — Вып.8, 1995. — С.46-49.

54. Голубятников И.В. Основные принципы проектирования и применения мультимедийных обучающих систем. — М.: «Машиностроение», 1999. — 318с.

55. Голубятников И.В. Автоматизированная мультимедийная обучающая система «Организация ЭВМ, комплексов и сетей». — М., 2000, per. номер в информационно-библиотечном фонде РФ -50200000044

56. Машбиц Е.М., Бондаровская В.М. Зарубежные концепции программного обучения. — Киев.: Наукова думка, 1964. — 170 с.

57. Ходашинский И.А. Вопросы, задачи и анализ ответов в интеллектуальных обучающих системах //Информационные технологии. — № 5,2001 — С. 36-41.

58. Маркелов С.А. Разработка и исследование средств управления фундаментализацией образования в социальных системах (на основе логико-категориальных моделей): диссертация на соискание ученой степени кандидата технических наук. — М., 1996.

59. Полуаршинова Е.Г. Тесты как средство контроля качества подготовки учащихся в системе управления образованием региона (на примере среднего образования г. Москвы): диссертация на соискание ученой степени кандидата технических наук. — М., 1998. — 155 с.

60. Lord F.M. Application of Item Response Theory to Practical Testing Problems //Hillsdale N-J. Lawrence Erlbaum Ass., Publ., 1980. 266 p.

61. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests // Copenhagen, Denmark: Danish Institute for Educational Research, 1960. — 199 c.

62. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов — М.: Прометей, 2000. — 168 с.

63. Millman Jason, Determining test length: Passing scores and test length for objectives-based tests //Los Angelis: Instructional Objectives Exchange, 1972.-p 33.

64. Millman Jason, Criterion-referenced measurement //In W.J. Popham Evaluation in Education: Current applications. — Barkley CA.: McCutchan, 1974 —p.311-397.

65. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос, 2002. — 432 с.

66. Wright B.D., Masters G.N. Rating scale analysis. — Chicago, 1982. — 206 c.

67. Mislevy R.J., Bock R.D. Introduction to Item Response Theory. — 1990.

68. Stocking M.L., Lord F.M. Developing a common metric in Item Response Theory //Applied Psychological Measurement. — vol. 7. — 1983.

69. Аванесов B.C. Основы научной организации педагогического контроля в высшей школе: Учебное пособие. — М.: Исследовательский центр, 1989.— 167 с.

70. Люсин Д.В. Основы разработки и применения критериально-ориентированных педагогических тестов. — М.: Исследовательский центр, 1993. — 51 с.

71. Educational measurement /Ed. by Linn R. — N.Y.Macmillan, 1989. 610 p.

72. Keeves J.P. Educational Reserch, Methodology and Measurement: An International Handbook. — Oxford, Pergamon Press. — 1988.

73. Millan, J. Reliabity and validity of criterion-referensed test scores. In R.E.Traub //New directions of testing and measurement. — №4, Methodological developments, San Francisco: Jossey-Bass. 1979. — p. 7592.

74. Feltd S.N., Brennan, R.L. Reliability In R.L. Linn. Educational measurement. — 3rd ed. -New York, Macmillan, 1989. -p. 105-146.

75. Переверзев В.Ю. Зарубежный опыт массового педагогического тестирования абитуриентов // Шестой симпозиум «Квалиметриячеловека и образования: методология и практика»: тез. докл. Книга II, Ч.2.—Москва, 1997. С. 167.

76. Berk R.A. Criterion- referenced measurement. The state of art Baltimor, MD.

77. Jons Hopkins University Press, 1980.

78. Hambelton R.K. and others. Criterion-Referenced Measurement: a Review of Technical Issues and Development // Review of Education Research. — vol. 48, № 1 (Winter 1978).- p.1-48.

79. Гласс Дж., СтенлиДж. Стастические методы в педагогике и психологии.- М.: Прогресс, 1976. 495 с.

80. Educational Testing Service. Standarts for quality and fairness. — Prinston, NJ, 1987.

81. Messick S. Validity In R.L.Linn Educational Measurement. — 3rd ed. — New-York, Macmillan, 1989.- p. 13-105.

82. Hambelton R.K., Swaminathan H., Rogers H.J. Fundamentals of Item Response Theory. — Sage publications, 1991. — 327c.

83. Crocker L., Algina J. Introduction to classical & modern test theory. — Orlando, 1986.

84. Linden W.J., Hambelton R.K. Handbook of modern item response theory. — New York, 1997.

85. Усачев Ю.Е. Проектирование интеллектуального учебника // Дистанционное образование. — № 4. — 2000. — С.24-27.

86. Тельнов Ю.Ф. Интеллектуальные информационные системы в экономике. — М.: Из-во Московского государственного университета экономики, статистики и информатики, 1988. — 174 с.

87. Искусственный интеллект. В 3-х кн. Кн.2 Модели и методы: Справочник / Под ред. Д.А.Поспелова. — М.: Радио и связь, 1980. — 304 с.

88. Назаретов В.М., Ким Д.П. Робототехника и гибкие автоматизированные производства. В 9-ти кн. Кн. 6 Техническаяимитация интеллекта: Учебное пособие для втузов /Под ред. И.М.Макарова. — М.: Высшая школа, 1986. — 144 с.

89. Моисеев В.Б., Усманов В.В., Усачев Ю.Е., Андреев А.Б. Интеллектуальная система анализа знаний // Вторая Всероссийская конференция «Развитие системы тестирования в России»: тез. докл. — Москва, 2000. — С. 82-84.

90. Ope О. Теория графов. — М.: Наука, 1980. — 336 с.

91. Зайцева Л.В., Прокофьева Н.О. Модели и методы адаптивного контроля знаний // Educational Technology & Society. — № 7(4), 2004. — С.265-277.

92. Зайцева Л.В. Модели и методы адаптации к учащимся в системах компьютерного обучения // Educational Technology & Society. — №. 6(3), 2003.-С.204-212.

93. Овчинников B.B. Оценивание учебных достижений учащихся при проведении централизованного тестирования. М.: Из-во Век книги, 2001. —27 с.

94. Нейман Ю.М. О шкалировании результатов централизованного тестирования в 2001 году // Вопросы тестирования в образовании. — № 1,2001.— С. 94-106.

95. Weiss D.J. (Ed.) New Horizons in Testing: Latent Trait Test Theory and Computerized Adaptive Testing. New-York, Academic Press, 1983. - 345 P

96. Соловов A.B. Проектирование компьютерных систем учебного назначения: Учебное пособие. — Самара: СГАУ, 1995. —138 с.

97. Соловов A.B. Дидактика и технология электронного обучения в системе КАДИС // «Индустрия образования», №6. — М.: МГИУ, 2002, — С.54-64.

98. Зайцева Л.В., Новицкий Л.П., Грибкова В.А. Разработка и применение автоматизированных обучающих систем на базе ЭВМ /Под ред. Л.В.Ницецкого. Рига : «Зинатне», 1989. - 174 с.

99. Зайцева Л.В. Методы контроля знаний при автоматизированном обучении //Автоматика и вычислительная техника, 1991. — № 4. — С. 88-92.

100. Свиридов А.П. Введение в статистическую теорию обучения и контроля знаний. Ч. 1 Стандартизированные методы контроля знаний. М.: МЭИ, 1974.- 134 с.

101. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. 1978. -Вып. 33.-С. 5-68.

102. Ю.Прокофьева Н.О. Алгоритмы оценки знаний при дистанционном обучении // Образование и виртуальность 2001: сб. науч. тр. 5-й Международной конференции. — Харьков-Ялта: УАДО, 2001. — С. 8288.

103. Прокофьева Н.О. Сравнительный анализ алгоритмов оценки знаний // Интернет Образование - Наука - 2002: сб. науч. тр. 3-й Международной научно-практической конференции. - Винница: ВГТУ, 2002.-С. 85-87.

104. Машбиц Е.И. Психолого-педагогические проблемы компьютеризации обучения. — М: Педагогика, 1988. —191с.

105. Иванов Ю.С. Параметрическое моделирование в системах автоматизированного обучения и управления. — Казань: ИССО РАО, 1994.— 198 с.

106. Рынгач В.Д., Краснов М.А., Лысяков А.Ф., Мазурук А.А. / Под ред. Довгелло A.M. — Автоматизированные системы для обучения программированию. Проектирование и реализация. — Киев, 1989. — 161 с.

107. Житомирский В.Г., Долгий А.В., Степанов Г.А. Принципы организации автоматизированных систем обучения на базе мини- и микро- ЭВМ: Сб. науч. тр.: Обучающие и контролирующие системы на базе ЭВМ.— Свердловск, 1982. —С. 124-134.

108. Данилин А.Ф. Создание специализированных автоматизированных систем обучения на базе АСО общего назначения: Сб. науч. тр.: Обучающие и контролирующие системы на базе ЭВМ. — Свердловск, 1982. —С. 3-10.

109. Гультяев A.K. Macromedia AUTHORWARE 6.0 Разработка мультимедийных учебных курсов — С-Пб.: КОРОНА-принт, 2000, -399 С.

110. Dix A., Finlay J., Abowd G., Beale R. Human Comhuter Interaction -Prentice Hall, 1993.

111. Kieras D. Using the Keystroke-level Model to Estimate Execution Times -University of Michigan, 2001.

112. Раскин д. Интерфейс: новые направления в проектировании компьютерных систем: пер. с англ. С-Пб.: Символ - Плюс, 2003.

113. Card, Moran and Newell. «The Phychology of Human-Computer Interaction». — Elbraum, 1983.

114. Деннинг В., Эссиг Г., Маас С. Диалоговые системы «Человек-ЭВМ». Адаптация к требованиям пользователя: пер. с англ. М.: Мир, 1984.

115. Гультяев А.К., Машин В.А. Проектирование и дизайн пользовательского интерфейса —С-Пб.: КОРОНА-принт, 2000.

116. Довгялло A.M., Бороновицкий В.И., Вершинин К.П. и др. Диалоговые системы. Современное состояние и перспективы развития — Киев: Наука думка, 1987. — 248с.

117. Ш.Растина JI.A. Адаптивное обучение с моделью: концепция. Алгоритмы, программная реализация и опыт внедрения //Информатика и компьютерная грамотность. — М.: Наука, 1988.

118. Жуков Д.О. Программное обеспечение мультимедийных систем обучения и диагностики знаний: монография. — М.:«Радио и связь», 2003. —432с.

119. Компьютерная технология обучения. Словарь-справочник, т. 1,2. — Киев: Наукова думка, 1992.

120. Harrington R., Fancher В., Black P. IBM Link Way: Hypermedia for the PC // N.Y.: John Wiley and Sons, Inc., 1998.

121. Anita Lindbergh, Tomoyuki Yamamoto, Takashi Usuki. SAL, A Hypermedia Prototype System. Multimedia: Systems, Interaction and Applications // 1st Autographic Workshop, Stockholm, Sweden, April 18-19, 1997. — p. 129145.

122. Roger К. Took. Out of the Window: A Multi-Medium. Multimedia: Systems, Interaction and Applications /1st Autographic Workshop, Stockholm, Sweden, April 18-19,1997. —p. 70-82.

123. Тараскин Ю. Мультимедиа в Российском государственном гуманитарном университете //КомпьютерПресс. Специальный выпуск «Компьютеры в образовании», Вып.8,1998. — стр.32-37.

124. Веллинг JI., Томсон JI., Разработка Web-приложений с помощью РНР и MySQL. — 2-ое издание. М.: Издательский дом «Вильяме», 2003.

125. Codd E.F. Relational Database: A Practical Foundation for Productivity // Communications of the ACM, 1982.—Vol.25, N2. —P.140-155.

126. Codd E.F. A relational model of data for large stored data banks // Communications of the ACM, 1970. — Vol.13, N6. — P.377-387.

127. Atkinson M. et. al. The Object-Oriented Database System Manifesto // ALTAR Technical Report, No 30-89, GIP ALTAR, LeChesnay, France, 1989.

128. Beech, D. A Foundation for Evolution from Relational to Object Databases // Proc. Conference on Extending Database Technology, Venice, Italy, 1988.

129. Поделько A.A. Объектно-ориентированные системы управления базами данных // Сети. — Вып.6. —1997. — С. 108-114.

130. Системы управления базами данных и знаний: справочное изд. // А.Н.Наумов, А.М.Вендров, В.К.Иванов и др. /Под ред. А.Н.Наумова. — М.: Финансы и статистика, 1991. — 352с.

131. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем. — М.: Финансы и статистика, 1989. —351с.

132. Гилула М.М. Множественная модель данных в информационных системах. — М.: Наука, 1992. — 208с.148. www.cognitive.ru149. http://ito.edu.ru/2001/ito/VI/VI-0-19.html.

133. Шихова О.Ф. Об объективизации тестов // Всероссийская научно-методическая конференция «Развитие системы тестирования в России»: тез. докл. — Москва, 2002.—С.255-256.

134. Моисеев В.Б., Усманов В.В., Таранцева K.P., Пятирублевый Л.Г. Оценивание результатов тестирования на основе экспертно-аналитических методов // Открытое образование. — №3, 2001. — С.32-36.

135. Рудинский И.Д., Соловей Е.В. Автоматизированный контроль знаний по методике уточняющих вопросов //Сборник материалов конференции Калининградского государственного технического университета. — Калининград, 2001. —С. 186.

136. Жуков Д.О. Краевые задачи в теории информации //Научные труды VII Международной научно-практической конференции «Фундаментальные и прикладные проблемы приборостроения, информатики, экономики и права», Сочи, 1-5 октября 2004. — С.76-81.

137. Кошляков Н.С., Глинер Э.Б., Смирнов М.М. Уравнения в частных производных математической физики. — М.: Высшая школа, 1970. — 712с.

138. Жуков Д.О., Алешкин A.C., Арутюнов И.С. и др. Генератор заданий по курсу высшей математики // Сб. науч. тр. «Научная сессия МИФИ -2003». -Москва, 2003, — Т. 12.— С.202.

139. Переверзев В.Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов. — М.: Из-во НМЦ СПО Минобразования РФ, 1998. — 152 С.

140. Linacre J.M. Computer-Adaptive Testing: A Methodology Whose Time Has Come //MESA Memorandum No. 69. Published in Sunhee Chae, Unson Kang, Eunhwa Jeon, and J. M. Linacre, 2000

141. Chi-Keung Leung, Hua-Hua Chang, Kit-Tai Hau Computerized Adaptive Testing: A Comparison of Three Content Balancing Methods // The Journal of Technology, Learning, and Assessment, Volume 2, № 5 — December 2003

142. Соколов B.M. Вывод функции успеха из принципа максимальности информации о системе //Всероссийская научно-методическая конференция «Развитие системы тестирования в России»: тез. докл. — Москва, 2002. —С.250-251.

143. Герасимович А.И., Матвеева Я.И. Математическая статистика. -Минск.: Высшая школа, 1978. 200 с.

144. Гмурман В.Е. Теория вероятностей и математическая статистика. — М.: Высшая школа, 1997.— 480 с.

145. Рао С.Р. Линейные статистические методы и их применение /Под ред. Ю.В. Линника. — М.: Наука, 1968. — 547 с.

146. Wright B.D., Stone М.Н. Best test design, Chicago: Mesa Press, 1979. — 220 p.

147. Сигел Э. Практическая бизнес-статистика: Пер. с англ. М.: Издательский дом «Вильяме», 2002.

148. Гайдышев И. Анализ и обработка данных: специальный справочник. -СПб.: Питер, 2001.

149. Гмурман В.Е. Теория вероятностей и математическая статистика: Учебное пособие для вузов. Изд. 7-е, стер. М.: «Высшая школа», 2000.

150. Мартин Дж. Организация баз данных в вычислительных системах: Пер. с англ. — М.: Мир, 1980. — 662с.

151. Ульман Дж. Основы систем баз данных: Пер. с англ. — М.: Финансы и статистика, 1983. — 334 с.

152. Лаурсен А., Олкин Дж., Портер М. Oracle Media Server: предоставление потребителям интерактивного доступа к данным мультимедиа// Системы управления базами данных. — Вып. 1. — 1995. — С.99-116.

153. Калянов Г.Н. Современные CASE-технологии. — М.: ИПУ, 1992. — 132 с.176. http://mvsql.directnet.ru/doc/ru/ODBC.html. Основные возможности MySQL.

154. Oracle 7. MG Butler Associates Ltd, 1992.178. http://msdn.microsoft.com/librarv/periodic/periodOO/sql.htm.

155. Альянах И.Н. Моделирование вычислительных систем. Л.: Машиностроение, 1988. —223 с.

156. Майоров С.А., Новиков Г.И., Алиев Т.И., Махарев Э.И., Тимиченко Б.Д. Основы теории вычислительных систем. Учебное пособие для вузов. — М.: Высшая Школа, 1978. — 408 с.

157. Ш.Нардюжев В.И., Нардюжев И.В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. М.: Прометей.-2000.- 148 с.

158. Любимов А. Коммутируемая Ethernet// КомпьютерПресс. — 1995. — Вып.7,9.

159. Любимов А. Сетевые технологии и решаемые задачи// КомпьютерПресс. — 1995.—Вып. 10. — С.70-79.

160. Любимов А. Стратегия высокопроизводительных сетей// КомпьютерПресс. — 1995— Вып.5-7.

161. Fall К., Varadhan К. NS Notes and Documentation . The VINT Project, 1998.- 187 p.

162. Bagrodia R.L., Liao W. Maisie: a Language for Deign of Efficient Discrete Event Simulation// IEEE Transactions on Software Engineering, April 1994. — 27p.

163. Meyer R. PARSEC User Manual. Release 1.1. -Los Angeles, CA: UCLA Parallel Computing Laboratory, 1998. — 39p.

164. Little M.C. C++SIM User's Guide. Public Release 1.5. Newcastle upon Tyne: Computing Laboratory, The University of Newcastle upon Tyne. — 1994.— 3 lp.

165. Франк А. Мультимедийные локальные и глобальные сети// LAN Magazine. // Русское издание. — сентябрь 1996. — Т. 2. — № 5. — С.61-66.

166. Федотчев К. MediaNet — сеть для работы с файлами большого объема// КомпьютерПресс. — Вып.8. — С. 110-111.

167. Жуков Д.О., Кудряшов А.А. Автоматизированная среда разработки компьютерных обучающих программ «MetodiClass» //Сб. науч.тр. «Научная сессия МИФИ-2004». — Москва. — 2004. —Т. 10. — С.47-48.

168. Усачев Ю.Е. Проектирование интеллектуального учебника// Дистанционное образование. — 2000. — № 4. — С.24-27.

169. Искусственный интеллект. В 3-х кн. Кн.2 Модели и методы: Справочник/ Под ред. Д.А.Поспелова. — М.: Радио и связь, 1980. — 304 с.

170. Лорьер Ж.Л. Системы искусственного интеллекта. Пер. с французского.- М.: Мир, 1991. —216 с.

171. Жуков Д.О. Использование информационных технологий для создания систем дистанционного обучения и тестирования// Информационные ресурсы России. — 2004. — № 1 (77). — С.26-29.

172. Зотов Д.Д., Жуков Д.О., Петров О.М. Оптимизированная модель АСУ дистанционного образования в сети Internet //Сб. науч. тр. «Научная сессия МИФИ-2005». — Москва. — 2005. — Т.2. — С. 173-174.

173. Жуков Д.О., Зотов Д.Д., Першин М.Д. Реализация основных концепций мультимедийного обучения в электронных учебниках // Сб. науч. тр. «Научная сессия МИФИ-2003». — Москва. — 2003. — Т. 12. — С.206-207.

174. Беланов A.C., Еремин П.С., Жуков Д.О. и др. Электронный учебный комплекс по оптике и атомной физике для нефизических специальностей технических вузов// Физическое образование в вузах.2001. — Т.7, №3. — С.92-96.

175. Жуков Д.О. Сетевая мультимедийная система лабораторных работ по курсу физики// Информатика и образование. — 2003. — № 7. — С. 8183.

176. Александров H.A., Жуков Д.О., Зотов Д.Д. и др. Электронные лабораторные работы по курсу общей физики для студентов технических вузов// Физическое образование в вузах.— 2002. — Т.8, №1. —С.96-102.

177. Худсон Д. Статистика для физиков. Пер. с английского. — М.: Мир, 1970. —296 с.