Математическое обеспечение системы взаимной проверки знаний с возможностью обнаружения проблемных ситуаций тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Пудов, Валерий Анатольевич

• Пудов, Валерий Анатольевич
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Пудов, Валерий Анатольевич

ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

ВВЕДЕНИЕ

1 КОНТРОЛЬ ЗНАНИЙ ПРИ ЭЛЕКТРОННОМ ОБУЧЕНИИ

1.1 ПРИНЦИПЫ ПОСТРОЕНИЯ СИСТЕМ ДИСТАНЦИОННОГО ОБРАЗОВАНИЯ

1.2 КОНТРОЛЬ ЗНАНИЙ С ИСПОЛЬЗОВАНИЕМ ЗАКРЫТЫХ ВОПРОСОВ

1.3 КОНТРОЛЬ ЗНАНИЙ С ИСПОЛЬЗОВАНИЕМ ВОПРОСОВ, ИМЕЮЩИХ КОНЕЧНОЕ МНОЖЕСТВО РЕШЕНИЙ

1.4 КОНТРОЛЬ ЗНАНИЙ С ИСПОЛЬЗОВАНИЕМ ОТКРЫТЫХ ВОПРОСОВ

1.5 ПРИМЕРЫ СИСТЕМ

1.6 КРАТКИЙ ОБЗОР МЕТОДОВ ОБУЧЕНИЯ

1.7 ЦЕЛИ ИССЛЕДОВАНИЯ

1.8 УСЛОВИЯ И ОГРАНИЧЕНИЯ

1.9 ФОРМУЛИРОВКА ЗАДАЧ НАУЧНОГО ИССЛЕДОВАНИЯ

1.10 АНАЛИТИЧЕСКИЙ ОБЗОР МОДЕЛЕЙ С AMO ДИАГНОСТИРУЕМЫХ СИСТЕМ ДЛЯ ВЗАИМНОЙ ПРОВЕРКИ ЗНАНИЙ

ВЫВОДЫ ПО РАЗДЕЛУ

2 РАЗРАБОТКА МАТЕМАТИЧЕСКОГО ОБЕСПЕЧЕНИЯ СИСТЕМЫ ВЗАИМНОЙ ПРОВЕРКИ ЗНАНИЙ

2.1 ОБЩИЕ ПОЛОЖЕНИЯ

2.2 ПРОБЛЕМА ВИЗАНТИЙСКИХ ГЕНЕРАЛОВ

2.3 АЛГОРИТМ ДЛЯ ПОЛНОГО ГРАФА

2.4 АЛГОРИТМ ДЛЯ ОПТИМАЛЬНОГО ГРАФА Di,,

2.5 ПОДХОДЫ К СНИЖЕНИЮ НАГРУЗКИ УЧАЩИХСЯ

2.6 АЛГОРИТМ ДЛЯ ОПТИМАЛЬНОГО ГРАФА С ЧИСЛОМ ТЕСТОВЫХ СВЯЗЕЙ п{ Ti-1)

2.7 МОДЕЛЬ ^-ДИАГНОСТИРУЕМЫХ СИСТЕМ В СВПЗ

2.8 ВХОДНОЙ КОНТРОЛЬ 97 ВЫВОДЫ ПО РАЗДЕЛУ

3 ОЦЕНКА ХАРАКТЕРИСТИК СВПЗ И АНАЛИЗ РЕЗУЛЬТАТОВ

3.1 НЕОБХОДИМОСТЬ АНАЛИЗА НУЛЕВЫХ КОНТУРОВ

3.2 АНАЛИТИЧЕСКАЯ МОДЕЛЬ ОЦЕНКИ ВЕРОЯТНОСТНЫХ ХАРАКТЕРИСТИК СВПЗ

3.3 ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ СВПЗ

3.4 МЕТОДИКА ПОДКЛЮЧЕНИЯ АРБИТРА

3.5 МЕТОДИКА ОЦЕНКИ ПРИМЕНИМОСТИ АЛГОРИТМОВ

РАСШИФРОВКИ СИНДРОМА ГРАФА ВЗАИМНЫХ ПРОВЕРОК

ВЫВОДЫ ПО РАЗДЕЛУ 3 133 4 МЕТОДИКА ПРОВЕДЕНИЯ ТЕСТИРОВАНИЯ. РЕАЛИЗАЦИЯ СИСТЕМЫ.

НАТУРНЫЙ ЭКСПЕРИМЕНТ

4.1 РАЗРАБОТКА АРХИТЕКТУРЫ СИСТЕМЫ

4.2 СХЕМА ВЗАИМОДЕЙСТВИЯ АРБИТРА С УЧАЩИМСЯ В СВПЗ

Введение диссертации (часть автореферата) на тему «Математическое обеспечение системы взаимной проверки знаний с возможностью обнаружения проблемных ситуаций»

Одной из главных функций компьютерных обучающих программ является контроль и диагностирование знаний. Традиционные способы их проведения уже вписались в существующую практику обучения, но их применение ограничено областью передачи конкретных знаний в определенной предметной области. Например, одним из традиционных способов контроля, характерным на этапе, когда пройдены основы и требуется приобретение и закрепление навыков, является метод стандартизированного контроля знаний, при котором тестовая задача сопровождается набором правильных и неверных ответов. Однако во многих случаях этот метод оказывается слишком ограниченным, когда даже невозможно задать эталонные решения для данного вопроса. Примером одного из таких случаев может быть тестовая задача, состоящая в необходимости доказательства теоремы. В этих случаях проверка знаний перекладывается на преподавателя, однако, его загрузка при этом оказывается очень большой. К тому же, необходимо заметить, что целью образования является не столько передача знаний, сколько обучение выработке собственных суждений, принятию решений.

Для реализации таких задач применяются методы искусственного интеллекта, учебное компьютерное моделирование, телеконференции и другие. Однако во всех перечисленных методах не решена в полном объеме задача проверки знаний, так как они предназначены, главным образом, для предоставления обучаемому среды для получения необходимой информации, и лишь часть из них (компьютерное моделирование и методы искусственного интеллекта) позволяют выдвигать свои предположения и проследить за результатом их приложения к предметной области. Контроль здесь, в основном, реализуется за счет самопроверки, что не позволяет объективно оценить уровень знаний учащегося.

Дополнить приведенные методы обучения еще одной составляющей -взаимной проверкой знаний, преобразуя их в среду для осуществления плодотворного процесса обучения, в который будут вовлечены все учащиеся, позволяет метод взаимной проверки знаний с привлечением арбитра (имеется ввиду групповое диагностирование, то есть интерпретирование результатов взаимных проверок и определение фактического состояния каждого обучаемого). Данный метод является развитием идеи парного контроля, позволяющего отработать «внешнеречевую форму действия», а также помогающего сформировать самоконтроль: выполняя проверку ответа коллеги на тестовую задачу, обучаемый учится контролировать и себя. Работы психологов [24] показывают, что парный контроль способствует созданию положительной учебной мотивации.

Суть подхода, применяемого в СВПЗ, состоит в том, что решения одной определенной тестовой задачи, выданные всем обучаемым, взаимно проверяются самими учащимися (самопроверки исключаются), и по результатам этих оценок выдается заключение о состоянии каждого обучающегося (знает, не знает), используя аппарат технической диагностики. Для разрешения спорных ситуаций и выборочной подтверждающей проверки привлекается арбитр (преподаватель), то есть данная система позволяет перенести часть функций преподавателя на самих учащихся, уменьшая его нагрузку.

Подобную систему можно охарактеризовать, как гибридную или человеко-машинную, при этом на вычислительные средства возлагается задача определения хорошо и слабо подготовленных учащихся. Ее отличительная черта заключается в том, что за счет привлечения к контролю знаний самих обучаемых снимаются многие ограничения на классы тестовых задач. Это выражается в том, что задания не должны иметь эталонных ответов. При этом обеспечивается высокий уровень истинности полученных оценок.

Актуальность. Системы дистанционного обучения в настоящее время развиваются достаточно динамично. Использование дистанционного обучения по сравнению с традиционными методами имеет следующие преимущества:

- обучаемый изучает материал и выполняет тестовые задания в любое удобное для него время;

- уменьшается нагрузка на преподавателей. Работа преподавателя состоит в составлении дистанционного учебного курса и приеме экзаменов по нему;

-9- повышается доступность учебного курса.

Особенностью СДО является то, что текущий контроль и диагностирование знаний студентов должен производиться системой автоматически либо с минимальным вмешательством преподавателя. С другой стороны, желательно, чтобы тестовые задания не сводились к выбору ответов из списка. Наилучшим вариантом было бы использование открытых вопросов для контроля знаний.

В настоящее время задача оценки правильности ответов на открытые вопросы в общем виде не решена. Поэтому стоит задача применения и/или разработки таких математических методов и программных средств, ориентированных на проведение контроля знаний при помощи открытых вопросов.

Вторым важным аспектом обучения является взаимная проверка студентами решений тестовых задач. В ряде работ [26,27] показано, что при проверке обучаемым решений своих коллег, уровень его подготовки повышается. В то же время при проведении взаимных проверок возможно возникновение проблемных ситуаций, т.е. присутствие в системе недобросовестных учащихся (учащийся верно решил свое тестовое задание, но ответ хотя бы одного обучаемого оценил неверно) В данной диссертации исследуется класс систем, которые позволяют гибко настраивать схему проверки решений учащимися.

Перечислим задачи, которые требуется решить при проектировании современной системы контроля знаний при дистанционном обучении:

- Методика проверки ответов на открытые вопросы.

- Автоматизация системы контроля знаний таким образом, чтобы участие эксперта было минимальным.

- Обеспечение проверки учащимися решений своих коллег (с контролем таких проверок).

В разрабатываемой на кафедре Вычислительных машин, систем и сетей Московского энергетического института (технического университета) под руководством доцента Афонина В.А. системе взаимной проверки знаний предлагается комплексное решение поставленных выше задач.

Научная новизна. В разработанной СВПЗ учащиеся проверяют решения друг друга. Граф взаимных проверок определяется на основании разработанных в рамках диссертационного исследования алгоритмов, либо задается априорно. Для расшифровки полученного синдрома используются модифицированные и адаптированные методы технической диагностики (модели ¿/^-диагностируемых систем). Подключение арбитра используется только в том случае, если синдром невозможно расшифровать автоматически.

В диссертационном исследовании конкретизированы для рассматриваемой предметной области и получили развитие известные математические методы, и предложено их новое применение в обучающих системах.

Конкретно научная новизна диссертационного исследования состоит в следующем.

- Разработано математическое обеспечение для организации взаимной проверки знаний с подключением арбитра (преподавателя) при отсутствии априорной информации о подготовленности учащихся. Разработаны методы для взаимной проверки знаний с использованием моделей //у-диагностируемых систем и методика оценки их применимости.

- Разработаны методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся). Предложены способы, позволяющие снизить вероятность появления в графе взаимных проверок враждебных вершин и минимизировать подключения арбитра.

- Разработан метод расшифровки синдрома, представляющего результаты взаимной проверки, позволяющий уменьшить количество тестовых связей между вершинами графа без снижения уровня диагностируемости.

СВПЗ сама не проверяет решения студентов, а делает заключение по результатам взаимных оценок, используя аппарат технической диагностики. На основании известных методов технической диагностики разработаны алгоритмы расшифровки синдрома для различных конфигураций графа и входных параметров системы, позволяющие использовать систему даже при отсутствии априорной информации о подготовленности учащихся. Это позволяет применять в системе произвольные классы открытых вопросов без их непосредственной проверки преподавателем, что было бы невозможно при «классическом» подходе, когда система сама оценивает решения.

Практическая ценность работы определяется возможностью применения ее результатов в имеющих широкое распространение системах электронного обучения и состоит в следующем.

- Реализовано программное обеспечение системы взаимной проверки знаний с использованием открытых вопросов в соответствии с разработанными методами как для текущего, так и для итогового контроля знаний. Организован Web-доступ учащихся к системе. При помощи разработанного программного обеспечения проведен натурный эксперимент, подтверждающий теоретические положения диссертации.

- Применение системы взаимной проверки знаний позволяет повысить частоту и качество контроля знаний, объективность оценивания, уровень подготовки учащихся, развивает в них самостоятельность и ответственность за результаты проводимых ими проверок других обучаемых; при этом снижается нагрузка на преподавателя (арбитра), что позволяет повысить эффективность его труда за счет автоматизации контроля знаний учащихся. Использование системы вносит элемент соревновательности, что способствует созданию положительной учебной мотивации.

- Для обеспечения совместимости различных систем контроля знаний тестовые задания и ответы могут быть представлены в формате XML, соответствующем спецификации IMS QTI (IMS Question and Test Interoperability specification), определяющей структуру данных для представления тестовых заданий и результатов. Тестовые задания могут создаваться в любом текстовом редакторе.

- Реализованная система взаимной проверки знаний может быть интегрирована в существующие системы управления обучением LMS (Learning Management System).

Результаты, полученные лично автором. В процессе выполнения данного диссертационного исследования автором достигнуты следующие результаты:

- 12- Разработаны принципы применения //¿-диагностируемых моделей для взаимных проверок.

- Разработано математическое обеспечение для применения в системе взаимной проверки знаний на основе моделей и методов технической диагностики (модель //¿-диагностируемых систем). Разработан алгоритм расшифровки синдрома для полного графа. Проведена модификация и адаптация алгоритма для оптимального графа £>1(/ с возможностью подключения дополнительных тестовых связей.

- Предложены методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся). Усовершенствована ПМЧ-модель с учетом присутствия в системе враждебных вершин.

- Исследованы варианты уменьшения количества тестовых связей между вершинами графа. Разработан алгоритм, позволяющий снизить количество тестовых связей между вершинами графа без уменьшения показателя диагностируемости. Проведена модификация и адаптация алгоритма с использованием //¿-диагностируемых систем для снижения количества тестовых связей между вершинами графа.

- Исследованы свойства методов и алгоритмов диагностирования и сформулировано 6 утверждений.

- Исследованы случаи, когда ошибка слишком велика, и проведение диагностирования нецелесообразно.

- Проанализирована возможность участия арбитра в качестве вершины графа (абсолютно надежная вершина). Разработана методика подключения арбитра, сформулировано и обосновано правило контрольного подключения арбитра.

- Разработана методика оценки применимости алгоритмов. Проведена оценка разработанных алгоритмов с использованием предложенной методики.

- Разработана архитектура системы взаимной проверки знаний и программное обеспечение, предназначенное для проведения взаимной проверки знаний, успешная эксплуатация которого подтверждается актами о внедрении. С его помощью проведен натурный эксперимент, подтверждающий теоретические положения диссертации.

Внедрение. В рамках выполнения диссертации разработана архитектура системы с \УеЬ-доступом для выполнения взаимных проверок. Разработано программное обеспечение системы в соответствии с данной архитектурой. СВПЗ внедрена в учебный процесс на кафедре Вычислительных машин, систем и сетей Московского энергетического института (технического университета) г.Москвы и в средней общеобразовательной школе №1 им. М.Ю.Лермонтова г.Пятигорска Ставропольского края. Акты о внедрении представлены в Приложении 1. В разделе 4 приведены условия и основные результаты натурных экспериментов, выполненных в указанных организациях.

Публикации, участие в конференциях. Опубликовано 9 статей по теме диссертационного исследования, из них 1 статья в журнале, рекомендуемом ВАК для публикации основных результатов диссертаций. Некоторые результаты опубликованы в электронном журнале, издаваемом в МЭИ(ТУ) [73]. Автор выступал на 6-ти конференциях с докладами по теме работы:

- Международный форум информатизации МФИ-2008. Международная научно-техническая конференция «Информационные средства и технологии» (г.Москва, 21-23 октября, 2008 г.).

- Четырнадцатая международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (г.Москва, 28-29 февраля, 2008 г.).

- Международный форум информатизации МФИ-2007. Международная научно-техническая конференция «Информационные средства и технологии» (г.Москва, 16-18 октября, 2007 г.).

- Двенадцатая международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (г.Москва, 02-03 марта, 2006 г.).

- Вторая международная научно-практическая конференция «Исследование, разработка и применение высоких технологий в промышленности» (г.Санкт-Петербург, 07-09 февраля, 2006 г.).

- Международный форум информатизации МФИ-2005. Международная научно-техническая конференция «Информационные средства и технологии» (г.Москва, 18-20 октября, 2005 г.).

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Пудов, Валерий Анатольевич

Основные результаты диссертационного исследования состоят в следующем:

1. Разработаны принципы применения //¿-диагностируемых моделей для взаимной проверки знаний. Проведена модификация и адаптация методов технической диагностики для применения в системе электронного обучения с соответствующим анализом ограничений и возможностью обнаружения недобросовестных учащихся.

2. Разработаны методы обнаружения в графе взаимных проверок враждебных вершин (недобросовестных учащихся). Определены способы, позволяющие снизить вероятность появления в графе взаимных проверок враждебных вершин.

3. Предложено усовершенствование ПМЧ-модели для ее применения в системе взаимной проверки знаний, учитывающей присутствие в графе враждебных вершин.

4. Разработаны алгоритмы расшифровки синдрома графа взаимных проверок для различных конфигураций графа, позволяющие верно определять состояния вершин, в том числе и враждебных.

5. Исследованы различные подходы к снижению нагрузки учащихся с анализом ограничений применимости этих подходов. Показано, что при удалении в оптимальном графе для каждой вершины одной выходящей из нее тестовой связи, можно сохранить значение показателя диагностируемости графа, и при этом корректно определять статусы всех вершин.

6. Предложены способы учета априорных данных о подготовленности учащихся в разработанных алгоритмах.

7. Для снижения числа тестовых связей в графе взаимных проверок при высокой подготовленности группы учащихся предложено использовать модель //¿■-диагностируемых систем (модель неполной групповой проверки).

8. Исследованы свойства методов и алгоритмов диагностирования и сформулировано 6 утверждений, поясняющих и уточняющих работу разработанных алгоритмов.

9. Разработана аналитическая модель оценки вероятностных характеристик системы взаимной проверки знаний и проведен анализ полученных результатов. Установлено, что при уровне подготовки группы учащихся меньше 0,64, может потребоваться подключение арбитра или дополнительных тестовых связей.

10. Разработана имитационная модель, позволяющая оценить вероятностные характеристики системы взаимной проверки знаний на множестве испытаний. Проанализированы полученные результаты и даны рекомендации по применению разработанных алгоритмов. Подтверждена высокая вероятность расшифровки синдрома графа взаимных проверок для разработанных алгоритмов без подключения арбитра или дополнительных тестовых связей при количестве ненадежных вершин, не превышающем показателя диагностируемости графа.

11. Разработана методика подключения к тестированию арбитра с разбивкой условий подключения на обязательные и желательные. Сформулировано и обосновано правило контрольного подключения арбитра.

12. Разработана методика оценки применимости алгоритмов расшифровки синдрома графа взаимных проверок, включающая показатели, учитывающие как входные данные о группе учащихся, так и результаты, полученные при анализе входных данных и проведении моделирования. На основании данной методики сформулированы выводы и рекомендации по выбору алгоритмов.

Практическая ценность данной работы состоит в следующем:

- Реализовано программное обеспечение системы взаимной проверки знаний с использованием открытых вопросов в соответствии с разработанными методами как для текущего, так и для итогового контроля знаний. Организован \УеЬ-доступ учащихся к системе. При помощи разработанного программного обеспечения проведен натурный эксперимент, подтверждающий теоретические положения диссертации.

- Применение системы взаимной проверки знаний позволяет повысить частоту и качество контроля знаний, объективность оценивания, уровень подготовки учащихся, развивает в них самостоятельность и ответственность за результаты проводимых ими проверок других обучаемых; при этом снижается нагрузка на преподавателя (арбитра), что позволяет повысить эффективность его труда за счет автоматизации контроля знаний учащихся. Использование системы вносит элемент соревновательности, что способствует созданию положительной учебной мотивации.

- Для обеспечения совместимости различных систем контроля знаний тестовые задания и ответы могут быть представлены в формате XML, соответствующем спецификации IMS QTI (IMS Question and Test Interoperability specification), определяющей структуру данных для представления тестовых заданий и результатов. Тестовые задания могут создаваться в любом текстовом редакторе.

- Реализованная система взаимной проверки знаний может быть интегрирована в существующие системы управления обучением LMS (Learning Management System).

Опубликованы следующие статьи и тезисы докладов, отражающие основные результаты данного диссертационного исследования:

1. Пудов В.А. Метод контроля и диагностирования знаний в образовательном процессе // Научно-технические ведомости СПбГПУ - СПб.: Издательство Политехнического университета, 2008, №5 (66) - С. 12-20. -журнал, рекомендуемый ВАК РФ для публикации основных результатов диссертаций.

2. Пудов В.А. Определение вероятностных характеристик системы взаимной проверки знаний // Международный форум информатизации МФИ-2008. Труды международной научно-технической конференции «Информационные средства и технологии» - М.: МЭИ, 2008, Т.2. - С. 157-165.

3. Пудов В.А., Афонин В.А. Арбитр в системе взаимной проверки знаний // Тезисы докладов четырнадцатой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» - М.: МЭИ, 2008, Т. 1. - С. 342-343.

4. Пудов В.А. Возможные подходы снижения нагрузки учащихся без уменьшения показателя диагностируемости графа в системе взаимной проверки знаний // Международный форум информатизации МФИ-2007. Труды международной научно-технической конференции «Информационные средства и технологии» - М.: МЭИ, 2007, Т.2. - С. 209-213.

5. Пудов В.А., Афонин В.А. Методы диагностирования, применяемые в системе взаимной проверки знаний // Тезисы докладов тринадцатой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» - М.: МЭИ, 2007, Т.1. - С. 397-398.

6. Пудов В.А., Афонин В.А. Ошибки, связанные с проблемой византийских генералов в системе взаимной проверки знаний // Тезисы докладов двенадцатой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» — М.: МЭИ, 2006, Т.1. - С. 460-461.

7. Пудов В.А., Афонин В.А. Особенности архитектуры системы взаимной проверки знаний учащихся с подключением арбитра в учебном процессе // Сборник трудов Второй Международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности». - СПб.: Издательство Политехнического университета, 2006.-С. 371-372.

8. Афонин В.А., Пудов В.А. Проблема византийских генералов при расшифровке синдрома в системе взаимной проверки знаний с арбитром // Международный форум информатизации МФИ-2005. Труды международной научно-технической конференции «Информационные средства и технологии» — М.: Янус-К, 2005. - С. 80-83.

9. Афонин В.А., Пудов В.А. Методика выявления ненадежных учащихся в системе взаимной проверки знаний с арбитром // Международный форум информатизации МФИ-2005. Труды международной научно-технической конференции «Информационные средства и технологии» - М.: Янус-К, 2005. — С. 84-87.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования кандидат технических наук Пудов, Валерий Анатольевич, 2009 год

1. Афонин В. А., Ладыгин И.И. Построение отказоустойчивых вычислительных систем.- М.: МЭИ, 1987., 68 с.

2. Афонин В.А., Свиридов А.П. Организация систем диагностирования знаний на основе взаимного тестирования с арбитром // Тезисы докладов Международной конференции «Информационные средства и технологии».-М.: МЭИ, 1995. С. 143 -144.

3. Афонин В.А., Свиридов А.П., Смолко A.B. О новом классе компьютерных систем для группового обучения с арбитром // Информационные технологии, 1997, № 8.

4. Афонин В.А., Смолко A.B. Лунгулло C.B. Архитектура системы взаимной проверки знаний // Международный форум информатизации МФИ-97. Доклады международной конференции «Информационные средства и технологии», т.З.- М.: Изд-во Станкин, 1997, С.79 — 84.

5. Башмаков А.И., Башмаков И.А. Технология и инструментальные средства проектирования компьютерных тренажерно-обучающих комплексов для профессиональной подготовки и повышения квалификации // Информационные технологии 1999, №6, С. 40-43.

6. Беспалько В.П. Элементы теории управления процессом обучения. М.: Знание, 1971 132 с.

7. Димитриев Ю.К. Самодиагностика модульных вычислительных систем.-Новосибирск: ВО "Наука". Сибирская издательская фирма, 1993. 293 с.

8. Занков Л.В. Дидактика и жизнь. М.:- 1968.

9. Касьяненко М.Д. Педагопка сшвробггництва: Навч. пос1бник. // Кшв: Вища школа, 1993.

10. Крамаренко М. Б. Анализ самодиагностирования отказов вычислительной- 155системы // Электронное моделирование. 1987. №6. С. 61-64.

11. Краткий психологический словарь. // Под ред. A.B. Петровского, М.Г. Ярошевского. М.: Политиздат. 1985. -431 с.

12. Лобанов A.B., Сиренко В.Г. Распределенные методы системного диагностирования многомашинных вычислительных систем // Автоматика и телемеханика, 2000, №8. С.165-172.

13. Микеладзе М.А. Развитие основных моделей самодиагностирования сложных технических систем // Автоматика и телемеханика, 1995, № 5 .- С. 3-18.

14. Н. Нильсон Обучающиеся машины // М.:Мир, 1967

15. Пак Н.И. Нелинейные технологии обучения в условиях информатизации / Монография. Красноярск, КГПУ, 1999.

16. Пак Н.И., Симонова A.JI. Методика составления тестовых заданий // ИНФО, 1998, №5.

17. Пак Н.И., Филиппов В.В. О технологии создания компьютерных тестов // ИНФО, 1997, № 5.

18. Половникова H.A. Система воспитания познавательных сил школьников. // Казань: Изд. Казанский пед. Институт, 1975.

19. Свиридов А.П. Обучение и самообучение обучающих и контролирующих машин // М.: Издательство МЭИ, 1976.

20. Свиридов А.П. Основы статистической теории обучения и контроля знаний // М. Высшая школа 1981 г.

21. Свиридов А.П. Условные и безусловные алгоритмы диагностического контроля подготовки операторов ЭВМ М.: МЭИ, 1987. — 68 с.

22. Скворцов С. В. Применение симметричной диагностической модели при организации активной отказоустойчивости многопроцессорных систем // Вестник Рязанской государственной радиотехнической академии. 1998. Вып. 4. С. 57—64.

23. Талызина Н.Ф., Габай Т.В. Пути и возможности автоматизации учебного процесса / Серия «Педагогика и психология», 1977, N11.

24. Цыпкин Я. Э. Основы теории обучающихся систем // М.:Наука, 1970.

25. Шаталов В.Ф. Педагогическая проза М., Просвещение 1980.- 15627. Шаталов В.Ф. Точка опоры. М., Педагогика, 1987.

26. F.J.Allan, T. Kameda, S. Toida An approach to the diagnosability analysis of a system // IEEE Trans. Computers, vol. C-24, pp. 1040-1042, Oct 1975.

27. Anil K. Jain, Jianchang Mao, K.M. Mohiuddin. Artificial Neural Networks: A Tutorialï, Computer, Vol.29, No.3, March/1996, pp. 31-44.

28. Athey Т.Н. Nontraditional Universities Challenge Twenty-First-Century Higher Education // On the Horizon. Volume 6. - Number 5. 1998.-p. 1,5-7.

29. F.Barsi, F. Grandoni, P. Maestrini, A theory of diagnosability of digital systems// IEEE Trans. Computers, vol. C-25, pp. 585-593, June 1976.

30. A.T.Dahbura An efficient algorithm for identifying the most likely fault set in a probabilistically diagnosable system // IEEE Trans. Computers, vol. C-36, pp. 354-356, Apr. 1986.n с

31. A.T.Dahbura, G.M. Masson An 0(n ) fault identification algorithm for diagnosable systems // IEEE Trans. Computers, vol. C-33, pp. 486-492, June1984.

32. A.T.Dahbura, G.M. Masson Greedy diagnosis as the basis of an intermittent fault/transient-upset tolerant system design // IEEE Trans. Computers, vol. C-32, pp. 953-957, October 1983.

33. A.T.Dahbura, G.M. Masson, C.L. Yang Self-implicating structures for diagnosable systems // IEEE Trans. Computers, vol. C-34, pp. 718-723, August1985.

34. DARPA Neural Network Study // AFCEA Int'l Press, Fairfax, Va., 1988.

35. S.Even, J.E. Tarjan Network flow and testing graph connectivity// SIAM J. Computing, issue 5, pp. 507-518, August 1983.

36. L. R.Ford and D. R. Fulkerson, Flows in Networks // Princeton University Press, Princeton, NJ, 1974.

37. A.D.Friedman A new measure of digital system diagnosis// Dig. 1975 Int Symp. of fault tolerant computation, pp. 167-169, June 1975.

38. H.Fujiwara, K. Kinoshita Some existence theorems for probabilistically diagnosable systems // IEEE Trans. Computers, vol. C-27, pp. 379-384, April 1978.

39. HFujiwara, K. Kinoshita, Connection assignments for probabilisticallydiagnosable systems // IEEE Trans. Computers, vol. C-27, pp. 280-283, April1978.

40. S.L.Hakimi, A.T. Amin Characterization of connection assignment of diagnosable systems // IEEE Trans. Computers, vol. C-23, pp. 86-88, March 1974.

41. S.L.Hakimi, E.F. Schmeichel, An adaptive algorithm for system level diagnosis //J. Algorithms, pp. 526-530, 1984.

42. S.L.Hakimi, K. Nakajima On a theory of /-fault diagnosable analog systems // IEEE Trans. Computers, vol. CAS-31, pp. 946-951, November 1984.

43. S.L.Hakimi, K. Nakajima On adaptive systems diagnosis // IEEE Trans. Computers, vol. C-33, pp. 234-240, March 1984.

44. S.Haykin, Neural Networks: A Comprehensive Foundation, MacMilan College Publishing Co., New York, 1994.

45. S.H.Hosseini, J.G. Kuhl, S.M. Reddy A diagnosis algorithm for distributed computing systems with dynamic failure repair // IEEE Trans. Computers, vol. C-33, pp. 223-233, March 1984.

46. A.K.Jain and J. Mao, "Neural Networks and Pattern Recognition", in Computational Intelligence: Imitating Life, J.M. Zurada, R.J. Marks II, and C.J. Robinson, eds., IEEE Press, Piscataway, N.J., 1994, pp. 194-212.

47. Joo-Kang Lee, Jon T.Butler A Characterization of t/s-Diagnosability and Sequential t-Diagnosability in Designs // IEEE Trans, on Electronic Computers.-1990, V. 39 NO. 10- P. 1298-1304.

48. S.Karunanithi, A.D. Friedman Analysis of digital systems using a new measure of system diagnosis // IEEE Trans. Computers, vol. C-28, pp. 121-133, February1979.

49. T.Kohonen SelfOrganization- and Associative Memory, Third Edition, // Springer-Verlag, New York, 1989.

50. S.E.Kreutzer, S.L Hakimi Adaptive fault identification in two new diagnostic models // Proc. of the 21st Ann. Allerton Conf. On Comm. Cont. and Comput., pp. 353-362, Univ. of Illions, Urbana Champaign, October 1983.

51. P.V.Krothapally On fault identification in certain diagnosable systems // Master's Thesis, Dept. of Electric Engineering, Texas University, Lubbock,1. Texas, August 1983.

52. Lamport L., Shostak R., Pease M. The Byzantine Generals Problem // ACM Transactions on Programming Languages and Systems, Vol. 4, No. 3, July 1982, Pages 382-401.

53. Lippmann, "An Introduction to Computing with Neural Nets" // IEEE AS SP Magazine, Vol.4, No.2, Apr. 1987, pp. 4-22.

54. V. M.Malhotra, M. Pramodh-Kumar and S. N. Maheshwari, An 0(V3) algorithm for finding maximum flows in networks // Information processing Letters 7, (1978), 277-278.

55. W.S.McCulloch and W. Pitts, A logical Calculus of Ideas Immanent in Nervous Activity // Bull. Mathematical Biophysics, Vol. 5, 1943, pp. 115-133.

56. M.Minsky and S. Papert, Perceptrons: An Introduction to Computational Geometry // MIT Press, Cambridge, Mass., 1969.

57. M.Minsky, Logical Versus Analogical or Symbolic Versus Connectionist or Neat Versus Scruffy // AI Magazine, Vol. 65, No. 2, 1991, pp. 34-51.

58. U.S.R.Murty, J.A. Bondy Graph theory with Applications // New York: Elsevier North-Holland, 1976.

59. K.Nakajima A new approach to system diagnosis // Proc. 19th annu. Alleton Conf. Commun. Contr. And Comput. Sept. 1981, pp. 697-706.

60. K.Nakajima, P.V. Krotapalli On adaptive fault diagnosis in optimal systems // Proc. of the 21st Ann. Allerton Conf. On Comm., Cont. and Comput., pp. 373382, Univ. of Illions, Urbana Champaign, October 1983.

61. J.Narashimnah A unified approach to fault diagnosability of systems // Master's Thesis, Dept. of Electronic Engineering and Computer Science, Texas Tech University, Lubbock, Texas, August 1984.

62. J.Narasimhan, K. Nakajima An algorithm for determining the fault diagnosability of a system // IEEE Trans. Computers, vol. C-35, pp. 1004-1008, Nov. 1986.

63. J.Narasimhan, K. Nakajima System Level Fault Diagnosis: An Overview: Technical Report// Institute for Systems Research, Number: TR86-81, 1986

64. P. Werbos, Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences // Phd Thesis, Dept. of Applied Mathematics, Harvard- 159

65. University, Cambridge, Mass., 1974.

66. Preparata F.P., Metze G., Chien R.T. On the Connection Assignement Problem of diagnosible systems // IEEE Trans, on Electronic Computers.- 1967, v. EC -16.-P. 848-854.

67. D.E.Rumelhart and J.L. McClelland, Parallel Distributed Processing: Exploration in the Microstructure of Cognition, MIT Press, Cambridge, Mass., 1986.

68. R.P.S.N. Maheshwari, S.L. Hakimi On models for diagnosable systems and probabilistic fault diagnosis // IEEE Trans. Computers, vol. C-25, pp. 228-236, March 1976.

69. E.F.Schmeichel, S.L. Hakimi, M. Ohtsuka, G. Sullivan Minimizing the number of test rounds // Dig. 18lh Int. Symp. on Fault-tolerant computing. Tokyo, Japan, July 1988, pp. 266-271.

70. F.H.W.Shih, K. Nakajima Adaptive Diagnosis for Probabilistically Diagnosable System: Technical Report // Institute for Systems Research, Number: TR89-19, 1989.

71. Хл к.т.н., проф.Ладыгин И.И.к.т.н., доц.Афопин В.А.к.т.н., доц.Гольцов А.Г.- -1И

72. Управление образования ' ~ Ч Муниципальноеадминистрации г. Пятигорска общеобразовательное учреждение

73. Процесс внедрения проходил с 23 сентября по 26 декабря 2008 года.

74. Система взаимной проверки знаний внедрена в учебный процесс по дисциплинам «Математика», «Физика», «Информатика» и используется как для текущего, так и для итогового контроля знаний.

75. В ходе эксплуатации программного обеспечения было подтверждено, что оно обладает всеми заявленными возможностями, сочетая их с удобством эксплуатации и высокой скоростью работы.