Автоматизация проверки знаний и навыков студентов в области прикладной математики и информатики тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Веретенников, Максим Викторович

• Веретенников, Максим Викторович
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Веретенников, Максим Викторович

Введение.

Глава 1; Теоретическое обоснование целесообразности« разработки электронных учебных пособии и автоматизации контроля знаний

1.1 Компьютерные учебные пособия в образовательном процессе.

1.1.1 Сравнение традиционной и дистанционной форм обучения.

1.1.2 Развитие дистанционного обучения.

1.1.3 Развитие концепции КУП.

1.2. Некоторые психологические аспекты компьютеризации обучения.

1.3 Современный мультимедийный учебник на примере КУП «Концепции современного естествознания».30'

1.3.1 Первая версия КУП «КСЕ».

1.3.2 Вторая версия КУП «КСЕ».

1.4 Компьютерное тестирование.

1.4.1 Типы компьютерного тестирования знаний.

1.4.2 Отличия компьютерного тестирования от традиционных методов, проверки знаний.

1.4.3 Области применения компьютерного тестирования.

1.5 Выводы.

Глава 2 Автоматизированное тестирование знаний.

2.1 Сравнение технологий локального и сетевого тестирования.

2.2 Представление структуры тестовых вопросов с помощью языка текстовой разметки.

2.3 Защита данных тестирования от фальсификации

2.4 Проблемы оценки ответов на тестовые вопросы.

2.4.1 Общий алгоритм оценки ответов на тестовые вопросы.

2.4.2 Типы тестовых вопросов.

2.4.3 Проблемы оценки ответов на вопросы открытого типа.

2.4.4 Вывод общей оценки за тестирование.

2.5 Требования к системе автоматизированного тестирования.

2.6 < Выводы.

Глава 3 Автоматизация проверки компьютерных программ.62'

3.1 Концепция автоматизации проверки программ для ЭВМ!.

3:2 Метод шаблонов АТП.66?

313 Методы идентификации, оригинальности и фальсифицированности тестируемой программы.72:

3.3.1 Методы фальсификации программного кода и пути их обнаружения.

3.3.2 Плагиат программного кода и методы его обнаружения.

3:3.3 Общий алгоритм проверки оригинальности и»нефальсифицированности тестируемой программы.

3.4 Построение модели АТП, основанного на методе шаблонов

3.5 Выводы.

Глава 4. Комплекс автоматизированного тестирования EduCAD Controls

4.1 Общие сведения о комплексе EduCAD.

4.2 Система автоматизированной проверки компьютерных программ EduCAD Programs.

4.3 Система автоматизированного тестирования знаний EduCAD Tests.

4.4 Система генерации заданий EduCAD Questions.

4.5 Внедрение комплекса EduCAD Controls в образовательный процесс.

Введение диссертации (часть автореферата) на тему «Автоматизация проверки знаний и навыков студентов в области прикладной математики и информатики»

Современный: период развития высших? учебных заведений характеризуется значительным увеличением; числа студентов, обучающихся по заочной; и > дистанционной формам. Это общемировая тенденция»усугубляется также значительным • возрастанием нагрузки на; преподавательский состав в вузах РФ. В • результате процесс обучения становится все более сложным и менее надежным: решение- острых; проблем: обучения в высших учебных заведениях традиционными методами все чаще не дает удовлетворительных результатов, т.е. страдает качество обучения;

В оценке качества обучения выделяем три основных показателя [67]: 1. Общее: состояние качества обучения в целом по учебному заведению

2. Качество учебной работы преподавателей 3. Качество знаний и навыков студентов. Здесь каждый*показатель зависит от предыдущего. Ясно, что качество учебной работы преподавателей » зависит от общего состояния, качества • вуза, а качество знаний и умений* студентов? (помимо личностно-психологических. характеристик конкретного студента) — и от качества их обучения преподавателем, и от общего состояния качества обучения в вузе.

Как было рассмотрено? выше, качество учебной работы преподавателей зависит от учебной нагрузки, при возрастании нагрузки нашреподавателя качество его работы снижается. Одним из путей снижения учебной нагрузки является автоматизация отдельных функций преподавателя.

Рассматривая высшее учебное заведение как систему управления,. необходимо: особо отметить область проверки: знаний и навыков студентов — т.е., обратную связь блока повышения качества знаний и навыков студентов. Принятие решений в данной области традиционно практически целиком возлагается ; на преподавателя, несмотря на возможность частичной автоматизации этого. процесса. Широкое; внедрение инструментальных средств, позволяющих автоматизировать процесс проверки знаний и навыков, помогло бы решить часть проблем системы высшего образования.

Чаще всего автоматизация принятия решений в области оценки знаний обеспечивается средствами.тестирования, и наибольшее распространение получило компьютерное тестирование. Актуальность разработки средств 5 проверки знаний обуславливается также; недавним введением; единого государственного экзамена. Также, большая часть форм проверки приобретенных навыков, отнимающие у преподавателя много времени, до сих пор не автоматизированы даже частично. Так, преподавателям технических специальностей приходится тратить < много > времени на проверку компьютерных. программ, созданных студентами даже в тех случаях, если компьютерная программа является лишь средством-достижения цели, а не целью работы.

Таким образом, автоматизация процесса принятия решений- в области проверки знаний; и навыков в высшем: образовании позволит освободить время * преподавателя для творческой деятельности и сократить расходы вузов;

Программная v реализация; средств: автоматизированного тестирования является довольно сложной задачей: Для проектирования сложного ПО в настоящее время широко применяется технология GASE (Computer-Aided Software Engineering). GASE - это совокупность, методологий »анализа, проектирования, разработки и сопровождения сложных систем:программного обеспечения, поддержанная; комплексом взаимосвязанных средств автоматизации. CASE-технологии позволяют оптимизировать любую систему уже на этапе проектирования. В связи с тем, что современные средства разработки прикладного^ ПО (например, популярные в РФ системы визуального программирования Borland Delphi и Borland С++ Builder) осуществляют поддержку технологии CASE, проектирование и реализация сложных программных систем становится легко доступной квалифицированному программисту.

Таким образом, актуальность исследования обусловлена: 1) требованиями повышения качества обучения студентов;

2) отсутствием требований к системам автоматизированного контроля знаний, формализованных в достаточной для математической и программной реализации степени;

3) сложностью проведения некоторых форм дистанционной проверки;навыков -таких, как проверки компьютерных прикладных программ;

4) ^ сложностью; создания ¡тестирующих программ, удовлетворяющих выдвинутым требованиям, без вспомогательных средств;;

5) значительным возрастанием нагрузки на преподавательский состав.

Цел ь данной работы состоит в повышении; эффективности! проверки знаний и навыков • студентов технических вузов. Поставленная, цель достигается; с помощью моделей, алгоритмов, и ? системы г автоматизированного 5 тестирования знаний и навыков.

Для»достижения поставленной цели были решены следующие задачи:

1) обоснована целесообразность автоматизации процесса тестирования знаний и навыков;

2) создана система1 формальных требований, которой должны отвечать системы автоматизированного контроля знаний;

3) создана ; система формальных требований; которой г должны отвечать системы проверки компьютерных программ;

4) разработаны модели и алгоритмы проверки; знаний и ? компьютерных программ;

5) разработан■ автоматизированный; комплекс, позволяющий проводить, тестирование знаний студентов и проверять компьютерные программы.

Методы; исследования вытекают из: поставленных задач. С дидактической точки зрения были рассмотрены плюсы и минусы дистанционного обучения в целом; а также использование систем автоматизированного тестирования знаний1 и1 компьютерных программ в частности. Были; рассмотрены психологические и педагогические аспекты внедрения тестирования в процесс: обучения. Для решения; поставленных задач использовались методы теории множеств, формальной логики, системного анализа, вычислительной математики и теории. вероятностей. При программной реализации полученных концепций использовались методы теории алгоритмов, структурного и объектно-ориентированного программирования, синтаксического анализа и математического моделирования.

Основные положения, выносимые на защиту, можно сформулировать следующим образом:

1. Кодирование тестовых вопросов с помощью языка текстовой разметки EduCAD Tests ускоряет процесс создания: тестов различных: типов, в том числе нестандартного вида.

2. Модель тестирования компьютерных программ на основе шаблонов позволяет унифицировать создание программного кода для упрощения создания и ускорения тестирования программ.

3. Система тестирования компьютерных программ повышает примерно на порядок эффективность проверки прикладных компьютерных программ в образовательном процессе.

4. Автоматизированный комплекс проверки знаний и навыков EduCAD Controls в целом, и его отдельные компоненты в частности, повышают эффективность проверки знаний и навыков в образовательном процессе:

Научной новизной обладают следующие результаты исследования:

1. Оригинальный язык текстовой разметки описания тестовых вопросов для автоматизированного компьютерного тестирования, отличающийся от аналогов тем, что позволяет создавать тестовые вопросы как стандартного, так и произвольного вида.

2. Впервые разработан оригинальный алгоритм проверки прикладных компьютерных программ в образовании на основе программных шаб

К" лонов;

3. Модель проверки прикладных компьютерных программ, созданных на основе программных шаблонов.

4. Отдельные компоненты автоматизированного комплекса EduCAD Controls (EduCAD " Programs, EduCAD Tests, EduCAD Questions), введенные в систему контроля;. Ранее созданные автоматизированные системы не позволяли создавать тестовые вопросы произвольного вида и проводить тестирование компьютерных программ.

Практическая и теоретическая ценность работы.

Выявленные требования к системам автоматизированного тестирования! знаний и компьютерных программ; дают возможность строить универсальные обучающие алгоритмы, не зависящие от: операционной системы и среды программирования. По разработанным алгоритмам создано программное обеспечение. Таким образом; соблюдается - принцип- структурного проектирования /щ, сверху вниз (CASE), что позволяет существенно сократить время на кодирование и избежать многих ошибок, появляющихся при < написании; программы, «с нуля», без всяких методик и алгоритмов.

На базе системы * требований и созданного программного обеспечения к настоящему времени^ разработаны» блоки; автоматизированного тестирования? для трех КУП, а также проверено более пятисот компьютерных программ, созданных студентами Томского межвузовского центра дистанционного образования.

Принципы, положенные в основу проектирования комплекса и рекомендации по созданию шаблонов для компьютерных программ и разработки тестовых вопросов, могут быть использованы другими авторскими коллективами для дальнейших исследований в области дистанционного обучения и создания аналогичного программного обеспечения. Это же касается разработанных отдельных программных компонентов, которые могут быть использованы для конст-м руирования других систем.

Достоверность. результатов работы подтверждается успешным опытом длительной проверки компьютерных лабораторных работ по дисциплине «Вычислительная : математика». Также, сравнение: качества и; скорости разработки тестирующих программ с другими подобными■ системами' показало преимущество разработанного комплекса автоматизированного тестирования.

Внедрение результатов диссертации > и рекомендации по их дальнейшему использованию. В результате выполнения работы был создан автоматизированный ; комплекс тестирования! знаний и навыков EduCAD Controls. В основу создания комплекса были заложены требования^ выявленные на этапе исследования проблемной области.

С помощью автоматизированного комплекса * EduG AD Controls были разработаны программы автоматизированного * контроля знаний для нескольких учебных дисциплин.

Имеются; акты о > внедрении мультимедийных учебных пособий по вузовским? дисциплинам «Вычислительная математика», «Методы оптимизации», «Основы теории управления» и «Концепции современного естествознания» в образовательный процесс Томского межвузовского центра дистанционного образования (ТМЦДО). Кроме того, мультимедийное учебное пособие «Концепции современного естествознания» внедрено в учебный* процесс:Новосибирской государственной академии экономики и управления (НГАЭиУ).

В дальнейшем комплекс автоматизированного» тестирования! EduCAD Controls будет дорабатываться с целью соответствия новейшим тенденциям ДО; Положенные в его основу методологические и алгоритмические принципы могут быть использованы для дальнейшего развития системы автоматизированного тестирования знаний и систем проверки компьютерных программ.

Апробация работы и;публикации. Методика и результаты исследования обсуждалась на заседаниях семинара «Автоматизированные системы в учебном процессе» в 2000-2003 гг. на кафедре АСУ ТУСУР.

По теме диссертации опубликовано 24 работ, в том числе:

- 8 статей; среди которых две в центральной печати;

- 3 методических пособия;

- материалы 13 докладов на конференциях.

Основные результаты работы докладывались и обсуждались на следующих конференциях:

- всероссийской; межвузовской; научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика» (Москва, МИЭТ, 1999 г.);

- XXXVII международной научной студенческой конференции «Студент и научно-технический прогресс. Информационные технологии» (Новосибирск, НРУ, 1999 г.);

- третьей региональной научно-технической конференции студентов и молодых специалистов «Радиотехнические и информационные системы и устройства» (Томск, ТУ СУР, 1999 г.)

- международной научно-практической конференции «Технический университет: дистанционное инженерное образование» (Томск,. ТПУ, 2000 г.);

- четвертой региональной научно-технической конференции «Радиотехнические и информационные системы и устройства» (Томск, ТУ-СУР;2000г.);

- XXXVIII международной научной студенческой конференции • «Студент и научно-технический прогресс. Информационные технологии» (Новосибирск, НГУ, 2000 г.);

- VI международной конференции «Информационные технологии обучения», ИТО-2000 (Санкт-Петербург, СПбГЭТУ, 2000 г.);

- региональной научно-практической конференции «Прогрессивные технологии и экономика в машиностроении» (Юрга, 2002 г.);

Дипломная работа на тему «Электронные учебные пособия по естественнонаучным дисциплинам», в которой отражены начальные этапы исследования, отмечена дипломом Министерства образования открытого конкурса на лучшую научную работу студентов? по естественным, техническим и гуманитарным наукам в вузах РФ в 2001 году, а,также получила второе место на конкурсе дипломных работ и проектов ТУСУР за 2000 год. И

Учебный комплекс по. дисциплине, «Концепции; современного! естествознания — 2» в составе КУМПО (комплексного учебно-методического программного обеспечения) на Сибирской ярмарке 2002 года; в г. Новосибирске получил Большую золотую медаль. Этот учебный комплекс зарегистрирован в депозитарии электронных изданий ФГУП НТЦ «Информрегистр» Министерства РФ по связи и информатизации^ 16 января 2003 года, ему присвоен номер государственного учета 0320300013; Диссертационная работа выполнена в рамках двух проектов договоров ТМЦДО

Личный вклад диссертанта. В!диссертации приведены только те результаты, в получении которых автору принадлежит основная роль. Опубликованные работы написаны либо без соавторов, либо в соавторстве с сотрудниками; коллектива по;разработке компьютерных учебных пособийiкафедры АСУ ТУ-СУР и профессора НРАЭиУ Дубнищевой-Т.Я.

Автором создан комплекс автоматизированного тестирования EduCAD Controls и программное ядро компьютерного учебника «Концепции1 современного естествознания». Личный вклад в разработку учебных пособий: «Концепции современного естествознания»: ядро курса, программирование и дизайн электронного учебника, программы автоматизированного tтестирования, контрольные и лабораторные работы;. Автор материалов по дисциплине - профессор НГАЭиУ Дубнищева Т.Я. «Вычислительная; математика»: разработка шаблонов программ для лабораторных работ- Автор ? материалов по дисциплине - профессор кафедры АСУ ТУ СУР Мицель A.A. «Концепции современного естествознания - 2»: дизайн электронного учебника, программирование программ тестирования и лабораторных работ. Автор материалов по дисциплине - профессор НГАЭиУ Дубнищева Т.Я:

Основы теории управления»: программа тестирования знаний. Автор материалов по предмету - заведующий кафедрой АСУ ТУ СУР, профессор Кориков A.M. «Методы оптимизации»: программы тестирования знаний, контрольных работ и курсового проектирования. Авторы материалов t по дисциплине - профессор кафедры АСУ ТУ СУРs Мицель A.A. и доцент кафедры АСУ ТУСУР Шелестов A.A.

Первая, глава посвящена общему обоснованию целесообразности разработки; электронных, учебных пособий и автоматизированных систем контроля знаний. В начале главы рассматривается структура системы дистанционного обучения и место электронного учебного пособия в этой структуре. Приведены основные термины, использующиеся в дистанционном; обучении [77, 72, 69, 37]. Дан! сравнительный; анализ системы дистанционного > обучения: и. традиционного образования [13], прослежена история развития системы дистанционного обучения [2, 40, 71], рассмотрен процесс исторической трансформации электронных учебных пособий от первых специализированных приспособлений до современных компьютерных программ [57, 81, 13];

Далее,. в; пункте; 1.2 рассматриваются методологические и психологические аспекты разработки компьютерных учебных пособий; [84, 16]; Предложена схематичное изображение этапов разработки компьютерных учебных пособий с точки зрения методологии и дизайна. Рассматриваются основные психологические личностные типы и их особенности в работе с электронными учебниками, а также выявляются антагонистические типы характера; не приспособленные к обучению с помощью компьютера [42]. Также, исследуются; рекомендации ? дизайнеров по оформлению электронных учебников [35].

Процесс создания^ двух версий: электронного»учебника «Концепции современного естествознания» [17, 21] рассматривается• в пункте 1.3. Исследуются созданные электронные учебники по данной дисциплине [30, 43], проводится: анализ существующего программного обеспечения [48] для разработка электронного учебника. Описывается создание первой версии учебника, структура; с минимальной» автоматизацией процесса разработки и г структура полученного учебника [9, 20]. Описывается вторая версия электронного учебника, созданная уже на более высоком уровне автоматизации iпроцесса [17, 64, 19]. На основании сравнения усилий, затраченных на разработку первой' и< второй версии электронных учебников, делаются; выводы о несомненном положительном эффекте автоматизации разработки компьютерных учебных пособий.

В ? пункте 1.4 рассматриваются возможные области применения компьютерного тестирования. Выделяется два направления тестирования - тестирование знаний и тестирование: навыков, рассматриваются различные технологии и типы тестирования [1, 60 ,41]. Исследуются отличия технологии автоматизированного тестирования от традиционной i проверки знаний [52, 76] и рассматриваются области деятельности, в которых автоматизированное тестирование было успешно внедрено [83, 62, 51].

Вторая главам посвящена исследованию системы автоматизированной проверки знаний. В' начале главы рассматривается ситуация на рынке систем компьютерного тестирования знаний [39, 76, 55, 54, 44, 70, 79, 78, 50] и выдвигается ряд доводов в пользу создания собственной системы, а также выявляется необходимость выработки системы требований к автоматизированным системам контроля знаний.

В пункте 2Л сравниваются технологии локального и Интернет-тестирования, в результате выработано первое требование к системе контроля знаний — система должна позволять проводить как локальное тестировании, так и телетестинг.

В пункте 2.2 предлагается кодировать вопросы тестов при помощи языка текстовой г разметки [7] и исследуются уже существующие языки разметки для« этих целей [82, 53]. Делаются выводы о том; что язык текстовой разметки должен создаваться на базе стандарта XML [3^59], рассматривается общая структура стандарта XML.

Пункт 2.3 посвящен рассмотрению аспектов; защиты данных тестирования от несанкционированного доступа: Исследуются ? уровни защиты системы автоматизированного тестирования [60, 49; 52], затем рассматриваются алгоритмы ; шифрования данных [26, 10]. В результате предлагается; для шифрования информации использовать модификацию известного алгоритма сжатия данных LZW [87].

В«пункте 2.4 рассматриваются алгоритмы оцениваниям ответов на;тестовые вопросы. Сперва выводится общая формула оценки на вопрос с.точки зрения теории множеств. Затем рассматриваются; типы тестовых вопросов и ал го-ритмы обработки ответов на вопросы открытого типа [12, 34, 23 ^ 32, 75]. Далее выводитсяI формула общей?оценки! за-прохождение тестирования как нормаль-ной^ так и адаптивной форм:

Учитывая ранее полученные результаты, в^ пункте. 2.5 формулируются требования к системе автоматизированного тестирования. На основании* этих требований возможно дальнейшее; построение: системы автоматизированного компьютерного тестирования.

Третья глава посвящена исследованию возможности автоматизации? проверки^ компьютерных программ5в системе образования; Сначала рассматриваются классические положения по испытанию компьютерных программ [3^ 14, 3 8] и опыт проверки; программ на олимпиадах по программированию ([27, 28, 29, 68, 58, 38]. Далее проводится частичная?декомпозиция'модели автоматизированного тестирования компьютерных программ (и рассматривается математическая модель испытания программ.

В пункте 3^2 предлагается метод шаблонов проверки компьютерных программ [46]. Сначала исследуется понятие шаблона компьютерной программы и приводятся г примеры листингов программ; Затем: выявляются требования, предъявляемые к разработке шаблонов, и на их основе строится! алгоритм разработки шаблонов компьютерных программ:,

Возможности обнаружения: фактов фальсификации и плагиата компьютерных программ обсуждаются, в пункте 3.3. Перед началом; исследования сдается определение терминам; фальсификации, оригинальности и плагиата в области создания программ. Рассматриваются распространенные среди студентов^ методы фальсификации кода программ и возможные пути 1 их обнаружения: Затем исследуются проблемы автоматизированного обнаружения- плагиата кода программ путем сравнения: тестируемой программы с банком данных; ранее: проверенных работ. Результатом исследования является создание общего алгоритма проверки оригинальности и нефальсифицированности тестируемой программы.

В;пункте 3.4 проводится окончательная декомпозиция>модели автоматизации проверки компьютерных программ в образовательном ? процессе на основе метода шаблонов. В результате построения данной модели становится возможным построение системы автоматизированной проверки: компьютерных программ для образования:

Четвертая; глава посвящена; практической реализации ранее полученных теоретических результатов * в виде комплекса тестирования EduCAD Controls. Вначале рассматриваются общие сведения о комплексе EduCAD, дается ее структурная схема и определяется место в нем для комплекса тестирования.

В' пункте 4.2 описывается; созданная система автоматизированной проверки компьютерных программ; EduCAD * Programs. Рассматриваются два возможных пути коммуникации тестируемой программы с системой проверки, исследуются их достоинства и недостатки; Далее перечисляются> типы данных, с которыми • работают тестируемые компьютерные программы, приводятся \ примеры шаблона данных для тестирования и набора тестовых данных

Пункт 4.3 посвящен системе автоматизированного тестирования знаний EduCAD Tests. Вначале приводится: общая структура встроенного языка: текстовой разметки EduCAD Tests,.приводится пример тестового вопроса; созданного в системе. Проводится сравнительный анализ * системы EduCAD Tests с другими популярными системами автоматизированного тестирования знаний.

В пункте 4.4 рассказано о системе генерации контрольных вопросов EduCAD Questions. Приводится структура кодирования вопросов, приводится алгоритм генерации списка вопросов в зависимости от выбранного варианта.

В' пункте 4.5 дается: краткая справка о продуктах, разработанных. в комплексе EduGAD Controls.

Автор г выражает искреннюю благодарность своему научному руководителю, Мицелю Артуру Александровичу, а также коллективу кафедры-АСУ ТУ-СУР, за помощь в работе над диссертацией; и лично Корикову А.М:, Шелестову А;А:,.Романенко В.В., Клыкову В;В:, Бойченко H.Bi, Милякову A.M., Окладникову И.Г. гх1ава1 Теоретическое обоснование целесообразности^разработки; электронных учебных пособий и автоматизации контроля знаний!

Для начала введем некоторые определения. ВI данной; главе рассматриваются ; общие принципы функционирования и создания компъютерныхучеб-ных пособий (КУП). Иногда вместо КУП используется: аналогичный термин -«электронное учебное пособие» (ЭУП). Также часто используется; термин; «электронный учебник» (ЭУ), под которым подразумевается.; «программно-методический; комплекс, обеспечивающий возможность самостоятельного или« при участии преподавателя освоения учебного курса . именно при помощи компьютера» [77]. Термины. «КУП» и «ЭУП» подразумевают более широкое толкование,, и под ними; могут подразумеваться» виртуальные лаборатории и системы автоматизированного тестирования не только в составе единого комплекса (ЭУ), но и в качестве отдельных программ.

На сегодняшний день КУП довольно широко используются как дополнительное средство обучения в школах, техникумах и вузах,.но наибольшее распространение они получили при заочной форме обучения: Более того, использование КУП преобразило сам процесс обучения- на расстоянии; так что даже появился новый термин — дистанционное обучение (ДО).

Несмотря- на то, что термин «дистанционное обучение» стал известен недавно, технология, ДО появилась, довольно давно- Отдельные исследователи: (например, [72]) вообще считают, что рождением ДО можно считать появление; письменности. На сегодняшний день во всем мире, в том числе и в России, все большее и большее число вузов * развивают системы ДО. Развивается и методическое обеспечение для ДО: каждый год на русском языке выходят десятки; электронных учебников; энциклопедий, обучающих игр.

Существует множество» трактовок термина? «дистанционное обучение; приведем только две из них.Формулируя кратко, «ДО - совокупность технологий, позволяющих реализовать образовательный процесс с удаленным пользо

17 вателем» [69]. Более полное определение приведено в [37]: «ДО - комплекс образовательных услуг, предоставляемых широкому кругу потребителей с помощью специализированной информационно-образовательной среды, базирующейся? на деятельностной; методологии обучения, интенсивных методах обучения, средствах обмена учебной информацией на расстоянии».

Под тестированием подразумевается; процесс исследования объекта тестирования на предмет наличия у него предполагаемых свойств с помощью заданных алгоритмов. Под тестированием * знаний в образовании4 подразумевается процесс проверки знаний с помощью заранее подготовленной базы тестовых вопросов. Тестовый вопрос подразумевает; наличие однозначного ■ алгоритма определения правильности ответа.

Применение дистанционных образовательных технологий« в образовательных учреждениях высшего, среднего и дополнительного профессионального образования РФ регулируется приказомI Министерства; образования РФ №4452 от 18.12.2002 г. и федеральной; целевой) программой «Развитие единой образовательной информационной среды на 2001-2005 годы» от 24.04.2001 г.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Веретенников, Максим Викторович

3.5 Выводы

В t результате исследования, проведенного в этой главе, можно сделать следующие выводы: автоматизированное тестирование компьютерных: программ в образовании имеет свои неоспоримые преимущества и дает существенный экономический эффект, позволяя оптимально использовать время преподавателя, выделенное на проверку программ студентов.

Автоматизированная проверка программ в образовательном процессе пригодна лишь для тех дисциплин, в которых процесс программирования вторичен, то есть для дисциплин прикладного программирования.

Метод шаблонов позволяет, во-первых, оптимизировать процесс создания студентами; прикладных программ, и,, во-вторых, благодаря унификации > процесса обмена; данных программы; с внешней средой, существенно; облегчить процесс проверки программы.

Автоматизация возможна для всего цикла проверки программы: ее тестирования на заданных примерах, проверка ее оригинальности и проверка на попытки, фальсификации студентами программ. Успешно проверенные работы добавляются; в банк данных для последующего; определения оригинальности проверки компьютерных программ.

Приведенное в этой главе; исследование завершается построением модели, отражающей структуру АТП.На основе данной модели можно создать реальную САТП, что и было сделано на примере САТП EduCAD Programs, о которой пойдет речь в четвертой главе.

Глава 4. Комплекс автоматизированного тестирования EduCAD Controls

Во второй и третей главе были выработаны требования к системе автоматизированного тестирования компьютерных программ и системе автоматизированной проверки знаний. Полученные данные позволяют практически реализовать эти системы, и на их основе были созданы программные модули, вошедшие в комплекс автоматизированного тестирования EduCAD Controls. Комплекс EduCAD Controls является частью автоматизированного комплекса? создания средств поддержки электронного обучения EduCAD.

4.1 Общие сведения о комплексе EduCAD

Структура комплекса создания средств поддержки электронного обучения EduCAD, изображенная на рис. 4.1, разработана В.В. Романенко [66].

Автоматизированный комплекс EduCAD состоит из серверной и клиентской части. Серверная часть — это среда разработки электронного обучающего комплекса (ЭОК), к клиентской, части ; относятся разработанные модули ЭОК, поставляемые студентам.

Введение центров управления предназначено для обеспечения связей между отдельными компонентами комплекса. На данный момент центром управления АК EduCAD является набор формализованных соглашений о; формате обмена данными его компонентов с хранилищами данных по текущей предметной области и друг с другом. В дальнейшем планируется создать программный центр управления без существенных изменений компонентов комплекса. Центр управления ЭОК реализуется на программном уровне, он обеспечивает удобный доступ ко всем компонентам ЭОК и предотвращает повторный запуск уже загруженных компонентов.

Среда разработки электронного обучающего комплекса

АС разработки ЭУ EduCAD Textbook 2

АС проверки знаний и навыков EduCAD Controls

-N

АС проектирования презентаций EduCAD Presentation

Динамический шаблон EduCAD Practice

С—V

Электронный учебник

Контроль знаний

Практические работы

Анимированные презентации и Е к г з X

5 я п я

К «

S ю

0 я 1

CL О

О <

О з О щ < к та н ж

L> ж о с о

Центр управления АК EduCAD

Базы данных по предметной области

Центр управления эок

Среда эксплуатации электронного обучающего комплекса

Рис. 4.1 - Серверная и клиентская части АК EduCAD

Клиентская часть представлена компонентами, входящими в сам АК EduCAD, но с урезанной функциональностью. Они обладают возможностью только просматривать предметные данные, но не редактировать их.

На рис. 4.2 изображена структура комплекса автоматизированного тестирования EduCAD Controls. Комплекс EduCAD Controls состоит из трех взаимонезависимых частей: системы автоматической генерации вопросов EduCAD

Questions, системы автоматизированного контроля знаний EduCAD Tests и системы автоматизированной проверки компьютерных программ EduCAD Programs. Все компоненты комплекса реализованы в системе визуального проектирования Borland Delphi и работают на ПК под управлением 32-разрядной ОС Microsoft Windows. Далее рассмотрим эти компоненты подробнее.

РЕДАКТОР ТЕСТОВЫХ ВОПРОСОВ

БАНК ТЕСТОВЫХ ВОПРОСОВ

МОДУЛЬ ТЕСТИРОВАНИЯ

БАНК ПРОВЕРОЧНЫХ ДАННЫХ

МОДУЛЬ ПРОВЕРКИ

ПРОГРАММ

-^^

БАНК ПРОВЕРЕННЫХ ПРОГРАММ

EduCAD Tests ь • — — - ------------------------ --------

РЕДАКТОР КОНТРОЛЬНЫХ ВОПРОСОВ

БАНК КОНТРОЛЬНЫХ ВОПРОСОВ

МОДУЛЬ ОПРОСА

EduCAD Programs

EduCAD Controls

EduCAD Questions

Рис. 4.2 - Структура комплекса EduCAD Controls

4.2: Система автоматизированной проверки; компьютерных программ EduCAD Programs

САТП EcluGAD ? Programs первоначально создавалась для? автоматизации процесса проверки компьютерных лабораторных работ по дисциплине «Вычислительная математика» на кафедре АСУ ТУСУР. В дальнейшем система развивалась в плане большей стандартизации:

Общая структура САТП EduCAD Programs представлена на рис. 3.2. Для: ее* реализации потребовалось, разработать систему интерфейса «программа; -система проверки». Таким интерфейсом обмена фактически являются формализованные правила обмена данными. В! системе EduCAD Programs предусмотрены два типа обмена данными между программой и системой тестирования:;

• Закрытое тестирование. В данном случае в шаблон программы включены все наборы данных для тестирования программы. На: вход тестируемой программы подается только номер тестового набора: Достоинством закрытого типа тестирования является удобство проверки / работоспособности программы самим студентом, недостатком — простота фальсификации программного кода. Закрытое тестирование применялось при> разработке; шаблонов: лабораторных работ «Вычислительная математика» (приложение Б);

• ^ При? открытом тестировании САТП эмулирует ввод реальных данных пользователем. Это достигается переключением стандартного устройства ввода stdin, которым по умолчанию является клавиатура, на файл с тестовыми данными. Открытое тестирование может быть применено не во всех случаях: там, где в > исходный набор входят данные нестандартного типа (например, арифметическая функция), предпочтительнее использовать закрытое тестирование. Результат работы компьютерных программ, тестируемых в САТП EduCAD Programs выводится либо на стандартное устройство вывода stdout (по умолчанию экран), либо в текстовый файл out. txt. Полученный текстовый файл обрабатывается в системе.

Для каждой задачи в банке данных САТП хранится массив входных данных и соответствующий ему массив выходных данных. При тестировании программы система сравнивает полученный в результате работы программы набор выходных данных с тестовым набором; тестирование проводится по всем наборам данных из массива. Численные данные сравниваются с учетом относительной погрешности результата, заданной разработчиком. Результат тестирования программы приведен в приложении В.

Формат наборов входных и выходных данных для каждой задачи определяется шаблоном данных: Шаблон данных представляет обычный текстовый файл, в каждой строке которого описывается один элемент набора данных. В таблице 4.1 приведены типы данных, которыми может оперировать система EduCAD Programs. Пример шаблона данных приведен на листинге 4.1.

Заключение

В результате проведенных исследований была решена актуальная научно-техническая задача автоматизации контроля знаний и навыков студентов технических вузов. Основные результаты диссертационной работы состоят в следующем::

1. впервые предложен метод, облегчающий разработку и проверку прикладных компьютерных программ для технических дисциплин («метод шаблонов»);

2. предложен оригинальный алгоритм проверки компьютерных программ с целью выяснения фальсификации и плагиата;

3. разработана модель автоматизированной проверки компьютерных программ в образовательном процессе, основанной на методе шаблонов;

4. выработаны требования, предъявляемые к языку текстовой разметки; описания тестовых вопросов;

5. на основе выработанных требований, создано формальное описание языка текстовой разметки «EduCAD Tests»;

6. разработаны формальные требования к созданию системы автоматизированного контроля знаний;

7. на; основе всей выявленной совокупности требований и проведенных исследований разработан программный комплекс для проверки знаний и навыков «EduCAD Controls», включающий систему автоматизированного тестирования, систему проверки компьютерных программ и систему выдачи заданий;

8. в рамках комплекса EduCAD Controls автоматизированным способом, быстро и качественно разработан ряд модулей тестирования и заданий, а также проведено тестирование большого количества компьютерных программ по дисциплине «Вычислительная математика»;

9. разработаны две версии компьютерного учебника «Концепции современного естествознания». В дальнейшем результаты работы могут быть использованы в различных целях:

1. Выявленная совокупность требований обеспечивает системный подход к проектированию автоматизированной системы проверки знаний.

2. По результатам исследований могут быть построены универсальные алгоритмы тестирования компьютерных пограмм.

3. Общие концепции автоматизации, положенные в основу создания всех компонентов комплекса EduCAD Controls, могут быть использованы для создания других подобных автоматизированных систем.

В заключение дадим следующие рекомендации:

1. Рекомендуется дальнейшее использование автоматизированного комплекса EduCAD Controls для осуществления проверки знаний и навыков студентов технических вузов.

2. Комплекс EduCAD Controls должен дорабатываться с целью соответствия новейшим тенденциям дистанционного обучения.

Список литературы диссертационного исследования кандидат технических наук Веретенников, Максим Викторович, 2004 год

1. Ван Тассел Д. Стиль, разработка, эффективность, отладка и испытание программ; М;: Мир, 1985.

2. Веретенников М.В. Автоматизация проверки компьютерных программ в технических дисциплинах. // Дистанционные образовательные технологии. Выпуск 1: Пути реализации. Сборник научных трудов. Томск: ТУ СУР, 2004.-С. 52-61.

3. Веретенников! М.В4. Автоматизация проверки компьютерных программ» в технических дисциплинах. // Дистанционные образовательные технологии. Выпуск 1: Пути реализации. Сборник научных трудов. Томск: ТУСУР, 2004.-С. 52-61.

4. Веретенников М.В. Пакет для автоматизированного контроля1 знаний. // Материалы XXXVIII'международной научной конференции «Студент и научно-технический прогресс»: Информационные технологии. — Новосиб. Кн-т, Новосибирск, 200. С. 40.

5. Грис Д., Наука программирования. М.: Мир, 1984.

6. Демкин В .П., Можаева Г.By Технологии дистанционного обучения и анализ их эффективности // Тезисы докладов- всероссийской; научно-методической конференции «Телематика-2002». С-Пб, 2002.

7. Донской М; Интернет и пользовательский интерфейс // Мир Internet,1999, №9.

8. Д у б нищева Т. Я. Концепции современного естествознания; Новосибирск: ЮКЭА, 1997.

9. Дубнищева Т.Я., Мицель А.А, Веретенников М.В. Концепции современного естествознания: Методические указания к электронному учебнику. Томск,. 1999:36 с.

10. Дубнищева Т.Я;, Мицель А.А, Веретенников«М.В. Новая версия электронного учебника по дисциплине "Концепции современного естествознания" // Открытое и дистанционное образование, №4, 2002.

11. Дубнищева Т.Я., Мицель А.А, Веретенников М.В. Создание электронного учебника «Концепции современного естествознания»; // Высшее образование в России, №6,2000.2Г.Дубнищева Т.Я., Пигарев А.Ю. Современное естествознание. Но-^ восибирск: ЮКЭА, 1998;

12. Иванов В. JI. Электронный учебник: системы контроля знаний // Информатика и образование, №1, 2002: С. 71-79.

13. К ар п о в а И. П. Анализ; ответов обучаемого ; в автоматизированных обучающих системах. // Информационные технологии, №11,2001. С.49-55.

14. Керниган Б.В., Ричи Д.М. Язык Си.

15. Кнут Д . Искусство программирования для ЭВМ." В 3 т. М.: Мир, 1976.

16. Ковалевский В., Максимов В. Криптографические методы.// КомпьютерПресс. 1993; - N 5. - с. 31 - 34.

17. Командный чемпионат мира по программированию АСМ 1998/1999. СевероВосточный Европейский» регион / Под ред. проф. В.Н.Васильева и проф. В.Г.Парфенова. С.-Петербург: СПбГИТМО(ТУ), 1998; - 112 с.

18. Командный чемпионат мира по программированию АСМ 1999/2000. СевероВосточный Европейский регион / Под ред. проф. В.Н.Васильева и проф.

19. В.Г.Парфенова. С.-Петербург: СПбГИТМО(ТУ), 1999. - 96 с.

20. Командный чемпионат мира по программированию АСМ 2000/2001. СевероВосточный Европейский регион / Под ред. проф. В.Н.Васильева и: проф. В.Г.Парфенова. С.-Петербург: СПбГИТМО(ТУ), 2000.- 120 с.105

21. ЗО.Концепции современного естествознания, электронный учебник / Режим доступа: http://nrc.edu.ru/est/.

22. Г.Кор и ко в A.M., Сафьянов а E.H. Основы системного анализа-и теории систем: Учебное пособие. Томск: Изд-во Том; Ун-та, 1989. 207 с.

23. Кориков A.M., Сырямкин В.И., Титов. B.C. Корреляционные зрительные системы роботов. — Томск: Радио * и. связь, Томское отделение, 1990. -264 с.

24. Коровкина Н. Интеллектуальное сравнение текстовых файлов // "Молодая наука XXI веку": Тезисы докладов. Часть. VI - Иваново, 2001 г., С.61.

25. Коршунов П.Ф., Мирошниченко Е.А. Обработка естественного языка в системах с автоматизированным контролем знаний. // Открытое образование, №4; 2001. С. 30-36.

26. Кречетников K.F. Особенности проектирования интерфейса средств обучения // Информатика и образование, №4,2002. с. 65-72.36;Кручинин В.В. Генераторы в компьютерных учебных программах. Томск: Изд-во Том. Ун-та, 2003. - 200 с.

27. ЗЭ.Майерс Г. Искусство тестирования программ; М.: Финансы и статистика, 1982

28. Малкина О.И, Сошников Д.В. Создание интерактивных систем адаптивного тестирования в среде Интернет с использованием технологийискусственного интеллекта. / Режим доступа: http://nit.itsoft.ru/cgi-bin/article?id=89.

29. Манькова O.A. Некоторые проблемы компьютеризации обучения //и >

30. Высшее образование в России, №3V 1998. С. 95.43:Матюхин С.И., Фроленков К.Ю. Мультимедийный учебно-методический комплекс "концепции современного естествознания" / Режим доступа: http://www.ostu.ru/sciencer/prog/educmain/kse.html.

31. Ми х е е в а Т. И. Тестирование знаний на основе мультимедийных кроссвордов // Информационные технологии, №9, 2001. С. 49-52.45;Мицель A.A. Вычислительная математика. Учебное пособие. — Томск: ТМЦ ДО, 2001. 228 с.

32. Мицель A.A., Веретенников М.В. Электронный лабораторный практикум ? по вычислительной математике. // Доклады Томского государственного университета систем управлениями радиоэлектроники. Том 6. Сборник трудов. ТУ СУР, 2001. - С. 45.

33. Мицель A.A., Веретенников М.В., Романенко В.В. и др.*. Концепция современного мультимедийного учебника: Учебно-методическое пособие. Томск: ТМЦЦО, 2004. - 62 с.

34. М и ц е л ь А.А., Веретенников^М.В. Электронный учебник в системе 4t дистанционного обучения // Доклады: Томского государственного университета систем управления и радиоэлектроники. Том 3. Сборник трудов. ТУ-СУР, 1999.-С. 197.

35. Моисеев: В.Б., Усманов В.В., Таранцева K.P., Пятирублевый JI.Г. Статистический подход к принятию решений по результатам тестирования для тестов открытой формы // Открытое образование, №1, 2001. С. 51-58.

36. Павличенко Ю.А, Хатьков Н.Д. Автоматическое формирование индивидуального учебного курса. // Открытое образование №5,2001. С.28-31.

37. Пантелеев Е.Р. Среда разработки программ дистанционного обучения■ РИПЕРТЕСТ: логистическая модель и архитектура // Информационные технологии, №5,2001.

38. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа. — Томск: изд-во HTJI, 2001. 396 с.

39. Петренко Д.А. Разработка системы автоматической:проверки решений задач по программированию «Олимпия 2.0» Дипломная работа.— Томск, 1999 / Режим доступа:http://www.inf.tsu.ru/Library/DiplomaWorks/CompScience/1999/Petrenko/diplo m.pdf.

40. Профессиональная оценка Ваших знаний. Тестирование OnEine. / Режим» доступа: http://tests.specialist.ru/.

41. Романова Н.И. НИТ в управлении качеством образования / Режим доступа: http://www.nerungri.edu.ru/muuo/konfnit/shl7/romanova.doc.

42. Система проведения^ соревнования EJudge / Режим доступа: http://contest.cmc.msu.ru/download/.

43. Степанов A.B., Степанов Ю.А. Дистанционное образование и производство // Технический; университет: дистанционное инженерное образование. Труды « международной научно практической конференции. Томск: Изд. Томск, политехи, ун-та. - 1998. - С. 7.

44. Т а р а с о в С. А. Автоматизированная ; система оценивания; знаний / Режим доступа: http://pomm.paneuromedia.com/DEVEL/testing.html.

45. Тихомиров В.П. Дистанционное образование в России // Дистанционное образование; 1996. - №1.

46. Т и х о м и р о в В. ГГ. Дистанционное образование: история, экономика, тенденции; //Дистанционное образование, 1997, №2.

47. Томиленко В.А., Борисов G.И. О дополнительной клавиатуре в обучающих программах. // Современное образование: качество и новые технологии. Тезисы докладов научно-методической конференции. — Томск, ТУСУР, 2000.-С. 91-92.

48. ТрояновскиЙ! В.М. Автоматизированный контроль знаний о системе взаимосвязанных понятий // Информатика и образование, №3, 2002! —С. 5456.

49. Ту Дж., Ронсалес Р. Принципы распознавания образов:.Пер. с англ;: Под ред. Журавлева Ю.И. М.:Мир, 1978; 414 с.

50. Хрущев> С.А. Технология «активный блок» для создания распределенных обучающих программных комплексов. / Автореферат диссертации на соискание ученой степени кандидата технических наук. — Омск, 2002. — 19 с.

51. Чупин H.A. Проведение олимпиад по информатике: Учебное пособие. Бийск: Изд-во БиГПИ, 1997

52. Шевелев Ю.П. Автоматизация самоконтроля в системе обучения «Символ». Томск: ТАСУР, 1996. - 111 с.

53. Яблочкин Л.Б., Андриянова М.А., Каргин А.В. «Гипертест»-новая технология для создания систем тестирования знаний. // Информационные технологии, №3,2001.- С. 25-27.

54. Brainbench The Measure of Achievement / Режим доступа: http://www.brainbench.com/.

55. Elliott С., Brezinski J. Autonomous agents as synthetic characters // AI Mag, 1998. Vol. 19 №2.

56. Extensible Markup Language (XML) 1.0. W3C Recommendation 10-February-1998 / Режим доступа: http://www.w3.org/TO1998/REC-xml-19980210.html.

57. ISO 8879. Information Processing Text and Office Systems - Standard Generalized Markup Language (SGML), 1986 / Режим доступа: http://www.iso.ch/cate/d16387.html.

58. Welch Terry A., A Technique for High Performance Data Compression// IEEE Computer, vol. 17 no. 6 (June 1984).