Методы и алгоритмы построения компьютерных учебных программ и систем на основе генераторов информационных объектов тема диссертации и автореферата по ВАК РФ 05.13.06, доктор технических наук Кручинин, Владимир Викторович

• Кручинин, Владимир Викторович
• доктор технических наук
• 2005

Оглавление диссертации доктор технических наук Кручинин, Владимир Викторович

Список сокращений.

Введение.

Глава 1. Методология разработки компьютерных учебных программ.

1.1 .Жизненный цикл компьютерной учебной программы.

1.2. Подходы к проектированию компьютерных учебных программ.

1.3. Модели компьютерных учебных программ.

1.3.1. Кадровые компьютерные учебные программы.

1.3.2. Модель интеллектуальной компьютерной учебной программы обучения решению задач.

1.3.3. Модель интеллектуальной системы контроля знаний.

1.3.4. Модель генератора заданий.

Выводы.

Глава 2. Математический аппарат генерации информационных объектов.

2.1. Перечисление деревьев И/ИЛИ.

2.2 Алгоритмы генерации комбинаторных объектов.

2.2.1. Алгоритм генерации сочетаний.

2.2.2. Алгоритм генерации разложений.

2.2.3. Алгоритм генерации решений уравнений специального вида

2>,=2>,.

2.3. Использование деревьев И/ИЛИ для перечисления выражений КС-языков.

2.4. Метод построения генерирующих алгоритмов.

Выводы.

Глава 3. Модели и алгоритмы генерации тестовых заданий и вопросов.

3.1. Генерация задач на основе шаблонов.

3.2. Генерация вопросов на основе алгоритмов.

3.3. Методы генерации, основанные на таблицах.

3.4. Генератор вопросов для некоторой последовательности действий (процесса, технологии).^^

3.5. Генератор вопросов на основе иерархии.

3.6. Использование деревьев И/ИЛИ для генерации вопросов и задач

3.6.1. Генерация текста тестового задания.

3.6.2. Определение наличия решения задачи при генерации.

3.6.3. Генерация меню вопросов.

3.6.4. Построение меню-вопросов на основе классификаций.

Выводы.

Глава 4. Язык описания компьютерных тестов.

4.1. Принципы построения языка описания.

4.2. Синтаксис языка описания теста.

4.3. Трансляция программ тестирования в HTML-формат.

Выводы.

Глава 5. Технология разработки генераторов.

5.1. Шаблоны для представления комбинаторных алгоритмов.

5.2. Контейнер для представления деревьев И/ИЛИ.

5.3. Классы для генерации операторов языка представления тестов.

5.4. Механизмы встраивания генераторов в систему проведения контрольных работ и экзаменов.

5.5. Встраивание объектов в языки интерпретирующего типа.

Выводы.

Глава 6. Организация разработки и сопровождения программнометодического обеспечения в дистанционной технологии вузов.

6.1.Технология обучения

6.2.Технология проведения компьютерных экзаменов и контрольных работ.

6.3. Структура системы контроля знаний.

6.4. Программное обеспечение генераторов ТМЦДО.

6.5. Компьютерные учебники.

6.6. Сайт.

6.7. Информационная система.

6.8. Организационная структура.

Выводы.

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы построения компьютерных учебных программ и систем на основе генераторов информационных объектов»

1. Актуальность темы

В мире общепризнана возрастающая-роль компьютеров и компьютерных технологий. Компьютеры внедряются практически во все сферы человеческой деятельности. Образование — одна из таких сфер, где компьютерные технологии могут дать и дают значительный эффект. Этот эффект не только экономический (снижение затрат на образование, например не надо печатать учебные книги, так как можно использовать компьютерные учебники), но и экологический (например, не надо вырубать леса для производства бумаги). Социальный эффект проявляется в том, что через компьютерные сети в равной степени доступ к библиотекам, престижным учебным заведениям, высококлассным специалистам имеют учащиеся как крупных городов, так и небольших поселков и селений.

Постоянное совершенствование компьютеров и компьютерных технологий обуславливает необходимость совершенствования программного обеспечения, в том числе и образовательного. Можно выделить три стадии развития программного обеспечения автоматизированного обучения: построение и внедрение вычислительных центров в вузах; массовая компьютеризация образования; становление и развитие сети Интернет.

На первой стадии происходит становление и развитие методологии создания и использования автоматизированных обучающих систем (АОС). Под АОС здесь понимается компьютерная сеть, состоящая из компьютеров разной мощности, видео- и аудиотехники, различных сервисных средств, предназначенная для поддержки учебного процесса в интерактивном режиме работы всех его участников (учащихся, преподавателей, методистов, экспертов-предметников, администраторов, разработчиков учебных и сервисных программ и др.) [1-3]. Для своего функционирования АОС требует разнообразного обеспечения: программного, технического, информационнош, методического, лингвистического, экономического, административно-правового, кадрового [4,5].

Важнейшим элементом АОС является проблемное программное обеспечение, которое можно разделить на следующие группы [6]:

1) компьютерные учебные программы;

2) инструментальные программы;

3) программы управления процессом обучения;

4) программы поддержки текущей деятельности преподавателя.

Компьютерные учебные программы — это программы, предназначенные для непосредственного использования в учебном процессе. Отличительной особенностью компьютерных учебных программ (КУП) является взаимодействие с обучаемым. Компьютерные учебные программы можно разделить:

1) на обучающие программы;

2) тестирующие программы;

3) тренажерные программы;

4) моделирующие программы;

5) учебные игры;

6) прикладные программы учебного назначения;

7) интегрированные программы.

Под инструментальной системой (ИС) понимается программная система, которая позволяет автоматизировать процесс разработки компьютерных учебных программ. В некоторых публикациях используется термин «авторская система» [7]. Под авторской системой будем понимать систему, предназначенную для разработки некоторых классов компьютерных учебных программ.

Вводятся понятия технологии обучения, автоматизированных учебных курсов, авторских систем, компьютерных тестов и пр.

Было разработано большое число АОС, наиболее известные из них СПОК [8], АСУ ВУЗ, ОСКАР [9-11], Контакт [12,13], PLATO-4, ТГССГГ

14-18] . Все эти системы были предназначены в основном для вузов и базировались на их вычислительных центрах. Однако эта стадия существенного изменения в практику процесса обучения не внесла, поскольку сами компьютеры были громоздкими и дорогими.

Здесь существенный вклад внесли ученые А .Я. Савельев, А.М. Дов-гялло, А.П. Свиридов, В.П Беспалько, Н.Ф. Талызина, Б.С. Гершунский [11,19,20,21,22,23].

Вторая стадия развития характеризуется массовым внедрением персональных компьютеров в образование. В вузах и школах появляются компьютерные классы. Важнейшим становится программное обеспечение для изучения основ алгоритмизации и информатики. Появляются специальные системы программирования, ориентированные на использование их в образовании. Можно отметить, среди них Робик [24,25], Рапира [26], Роботлан-дия [27], Школьница [28,29], Е-пракгикум [30], Кумир [31], Бейсик [32], Паскаль [33], Лого [34], Трилош [35-38]. Происходит дальнейшее развитие компьютерных учебных программ и систем. Персональный компьютер становится мультимедийным, в него интегрируются устройства воспроизведения аудио- и видеоинформации. Появляются мультимедийные компьютерные учебные программы и компьютерные учебники.

Хотя компьютеров в вузах и школах стало больше, но их использование было направлено на решение задачи овладения компьютерной грамотностью, а не на построение технологий автоматизированного обучения.

На этой стадии существенный вклад внесли ученые А.П. Ершов [39,40], С. Пейперт [41], М. Беннет [42,43], Г.А. Звенигородский [24-26], А.А. Дуванов [27].

На третьей стадии развития происходит широкое внедрение дистанционных технологий обучения в реальный учебный процесс. Развивается методология построения и применения систем дистанционного обучения в различных сферах образовательной деятельности. Внедрение и развитие дистанционных технологий обучения становится определяющим фактором развития образования в мире [44-47]. Для России с ее огромными территориями это имеет первостепенное значение [48-51].

В настоящее время дистанционные технологии обучения используются практически каждым вузом России. Признанными лидерами и первопроходцами здесь являются: Московский экономико-статистический университет (МЭСИ) [52], Современный гуманитарный университет (СГУ) [53], Международный институт менеджмента ЛИНК [54]. В области инженерного образования можно выделить, Томский государственный университет систем управления и радиоэлектроники [55-57], Московский университет электроники и математики (МИЭМ) [58], МИЭТ [59].

В методике применения дистанционных образовательных технологий, утвержденной приказом Минобразования России № 4452 от 18.12.02, определяется, что дистанционное обучение есть технология обучения, при которой целенаправленное опосредованное или не полностью опосредованное взаимодействие обучающегося и преподавателя осуществляется на основе информационных технологий [60].

Решением коллегии Минобразования РФ №16/1 от 26.06.2002 «Об итогах эксперимента в области дистанционного обучения и перспективах развития дистанционных образовательных технологий» определены три основные дистанционные образовательные технологии: кейс-технологии; интернет-технологии; технологии спутникового телевидения. Допускается сочетание основных видов технологий. Выбор технологии обучения зависит от возможностей и предпочтений вуза Самой простой с точки зрения затрат на разработку является кейс-технология, которая предполагает формирование пакета учебников и учебно-методических пособий и доставку его студенту по месту проживания. Общение с вузом осуществляется по обычной или электронной почте. Прием экзамена или зачета обычно происходит в представительстве данного вуза в регионе.

Технологии спутникового телевидения также являются средством эффективного обучения [61], однако требуют наличия телевизионных каналов, что является достаточно затратным. Эта технология окупается, если контингент вуза достаточно велик, например в С ГУ, где учится более 200 тысяч студентов.

Интернет-технология наиболее затратная, поскольку требует существенной переработки всего методического материала и изменения парадигмы преподавания. В этой технологии общение между студентом и преподавателем опосредовано и осуществляется через компьютерную сеть. Важнейшим элементом данной технологии становится программное обеспечение, и в частности компьютерные учебные программы и системы.

Практика дистанционного обучения показала, что реально в вузе используется технология, основанная на сочетании указанных видов [62]. Важным требованием для студентов является наличие персонального компьютера с доступом, по крайней мере, к электронной почте. Например, в студенческий пакет кроме учебных пособий вкладываются компакт-диски с компьютерными учебниками и тренажерами и т.д. [63]. Студент, используя интерактивные мультимедийные учебники, изучает теорию, с помощью тренажерных программ осуществляет практические занятия, с помощью моделирующих программ выполняет лабораторные работы, запуская тестирующие программы, осуществляет самоконтроль. Для промежуточного контроля протоколы выполнения тестовых заданий высылаются в вуз по электронной почте.

Такая стратегия позволяет [64]:

1) проводить политику эволюционного развития технологии дистанционного обучения;

2) эффективно использовать ресурсы вуза для развития дистанционной технологии обучения;

3) использовать разнообразные виды технологий дистанционного обучения в зависимости от развития информационных сетей того или иного региона;

4) использовать различные инструментальные средства и системы для разработки педагогических программных средств; и

5) использовать разработки других вузов и производителей программного обеспечения.

Для реализации данной технологии дистанционного обучения вузу необходимо иметь:

1) библиотеку печатных и электронных учебников и учебно-методических пособий;

2) ресурсный центр компьютерных учебно-методических комплексов;

3) компьютерную систему контроля знаний;

4) информационную систему электронного документооборота;

5) систему мониторинга за процессом обучения;

6) учебный портал.

При современной оснащенности и доступности персональных компьютеров создать электронную версию учебника с помощью систем Microsoft Word или Latex не представляет большой сложности. Поэтому через небольшой промежуток времени организуется соответствующая библиотека. Причем учебное пособие может храниться в двух вариантах: печатном и электронном.

Ресурсный центр компьютерных учебно-методических комплексов наиболее сложный, затратный и длительный по времени создания элемент дистанционной технологии обучения. В него входят компьютерные учебные программы. Для каждой дисциплины или курса необходимо разработать компьютерный учебник, тренажеры, моделирующие и тестирующие программы и, возможно, все это объединить в интеллектуальную обучающую систему. Причем необходимо учитывать, что для организации дистанционного обучения по одной специальности необходимо представить приблизительно 60-65 дисциплин общим объемом более 8000 часов.

При решении данной задачи необходимо использовать инструментальные системы и опыт, накопленный на кафедрах вуза при создании компьютерных учебных программ.

Компьютерная система контроля знаний является необходимым элементом дистанционной технологии обучения и включает:

1) инструментальную систему построения тестов;

2) систему проведения входного тестирования;

3) систему проведения промежуточного контроля;

4) аттестационную систему;

5) систему мероприятий, направленную на защиту системы тестирования от несанкционированного доступа.

Информационная система (ИС) должна обеспечить электронный документооборот вуза по организации учебного процесса по дистанционной технологии обучения. Как правило, ИС должна обеспечивать [65]:

1) автоматизацию существующего документооборота, связанного с набором студентов и организацией учебного процесса;

2) автоматизацию технологических процессов, связанных с организацией и администрированием учебного процесса;

3) организацию хранения всей информации, связанной с деятельностью' вуза в процессе набора и обеспечения учебного процесса студентов, а также авторизированного доступа к этой информации всех сотрудников, студентов и преподавателей;

4) автоматизацию внутренних бизнес-процессов вуза (внутренние распоряжения, приказы, кадровые вопросы и т.д.).

Разработка информационной системы для вуза является довольно сложной и трудоемкой научно-технической задачей. .

Система мониторинга учебного процесса является необходимым элементом организации учебного процесса по дистанционной технологии обуче: ния. Эта служба может быть организована различными способами: если общение преподавателя и студента осуществляется посредством электронной почты, то эта служба может контролировать поток писем [66]; если используется более формализованный инструмент, то процесс мониторинга можно осуществлять, используя соответствующие возможности информационной системы.

Сеть Интернет с каждым годом становится все мощнее и сложнее, в том числе и в России [67]. Практически все вузы имеют возможности выхода в Интернет. Поэтому портал вуза становится важным инструментом в технологии дистанционного обучения. Перечислим основные функции учебного портала [68].

1. Информационная. Осуществляет информационную поддержку целевой аудитории сайта (основная подзадача здесь — это оперативное предоставление студентам информации о реальном состоянии их процесса обучения).

2. Технологическая. Предоставление целевой аудитории сайта функциональных возможностей, необходимых для решения конкретных задач (основная подзадача здесь — это функциональная поддержка процесса обучения студентов, поддержание обратной связи со студентами).

3. Маркетинговая. Привлечение новых студентов для обучения в вузе (продвижение услуг центра в Интернет, проведение маркетинговых исследований и рекламных кампаний).

4. Обучающая. Предоставление студентам интернет-услуг по обучению в режиме реального времени (предоставление сетевых курсов, проведение online экзаменов, виртуальное библиотечное обслуживание, online-лекции, слайд-лекции, виртуальные лабораторные работы, проведение семинаров и консультаций с использованием чатов и форумов).

Объединение перечисленных систем в одну интегрированную систему приводит к понятию Learning Management System (LMS) [44,69,70]. В отечественной литературе используются термины: система организации дистанционного обучения (СДО) [71], система управления процессом обучения (СУУП) [72], интегрированные средства разработки и использования сетевых курсов (ИСРИСК) [73].

В мире имеется уже достаточно много подобных систем. В обзоре [69] приводятся сведения по 52 системам. Среди них наиболее известные WebCT [74], Blackboard [75], Learning Space [76,77]. Однако данные системы работают только в среде Интернет и стоят довольно дорого [74,78].

Становлению и развитию этой методологии способствовали работы таких ученых, как В.И. Солдаткин, А.А. Андреев, В.П. Тихомиров, С.Л. Ло-бачева [50-52], М. Мур, Г. Кирсли [79,80], С.А. Щенников [48], М.П. Карпенко [49], А.В. Кобзев [55].

Однако с развитием информационных технологий и Интернета наблюдаются и негативные явления в области использования компьютерных учебных программ [81 -84]:

1) плагиат, когда, используя технологию «вырезай и копируй» {cut and сору\ обучаемые при написании своих работ копируют целые абзацы из чужих работ;

2) накопление рефератов, отчетов, курсовых и дипломных работ и выкладывание их в свободный доступ на сайтах;

3) накопление шпаргалок для сдачи контрольных работ и экзаменов, проводимых в тестовой форме;

4) взлом аттестационных компьютерных учебных программ с целью фальсификации результатов тестирования;

5) организация несанкционированного доступа в систему дистанционного обучения с целью изменения базы данных учебного характера.

Другим серьезным недостатком современных компьютерных учебных программ является фиксированностъ множества учебных заданий и примеров, которые решаются или разбираются при обучении. Это приводит к тому, что студенту, механически запомнившему правильный ответ, уже нет нужды решать задачу или выполнять тестовое задание. Поэтому дидактическая эффективность таких компьютерных учебных программ существенно снижается.

Одним из решений указанных проблем является расширение множества тестовых заданий и банков тестовых вопросов. Однако это путь экстенсивного роста, требующий огромных затрат материальных и трудовых ресурсов. Другим решением является создание специального программного обеспечения для генерации информационных объектов, позволяющего получать огромное число разнообразных тестовых заданий и вопросов. Но на сегодня подобные готовые программы и системы отсутствуют. Поэтому актуальной является задача построения методов и алгоритмов разработки компьютерных учебных программ и систем на основе генераторов информационных объектов.

2. Связь работы с научными программами, планами, темами

Работа выполнена в рамках ведомственной научной программы «Развитие научного потенциала высшей школы», подпрограммы №1 «Фундаментальные исследования», фундаментальных НИР, выполняемых в Томском государственном университете систем управления: «Разработка научных основ проектирования интеллектуальных компьютерных технологий управления техническими объектами, технологическими процессами и процессами обучения» (номер гос. регистрации 01980002350), 2.1.02 «Разработка принципов построения и основ теории интеллектуальных систем обучения и управления техническими объектами и технологическими процессами», 1.1.01 «Разработка нормативно-правового и информационного обеспечения функционирования межвузовских, межрегиональных центров дистанционного образования», 1.1.03 «Создание моделей интеллектуальных обучающих систем».

3. Цель и задачи исследования

Целью данного исследования является решение крупной проблемы методов разработки и исследования компьютерных учебных программ и систем на основе генераторов информационных объектов и внедрение их в практику дистанционного обучения.

Для достижения цели исследования необходимо решить следующие задачи.

1. На основе системного анализа рассмотреть жизненный цикл компьютерной учебной программы, выработать совокупность требований, построить модели и методы проектирования компьютерных учебных программ и систем.

2. Построить математический аппарат генерации информационных объектов. Используя методы перечислительной комбинаторики и деревья И/ИЛИ, предложить методику построения алгоритмов генерации информационных объектов.

3. Создать модели и алгоритмы генерации вопросов и тестовых заданий и провести их анализ.

4. Разработать технологии построения программного обеспечения генераторов вопросов и тестовых заданий. Разработать принципы, механизмы и программные интерфейсы для внедрения генераторов в систему контроля знаний.

5. Предложить языки и инструментальные системы создания компьютерных учебных программ, основанных на использовании генераторов и предназначенных для организации контроля знаний в дистанционной технологии обучения.

6. Оценить практическую значимость генераторов вопросов и тестовых заданий для организации тестового контроля знаний в дистанционной технологии обучения, а также их использование в компьютерных учебниках и других педагогических программных средствах.

4. Методы исследования

В диссертации использовались методы: системного анализа, перечислительной комбинаторики, искусственного интеллекта, теории синтаксического анализа, инженерии программного обеспечения, объектно-ориентированного программирования.

5. Научная новизна

1. Развита методология разработки компьютерных учебных программ, основанная на системном представлении жизненного цикла автоматизированных обучающих систем, которая обеспечивает эффективное создание и исследование нового класса компьютерных учебных программ и систем.

2. Впервые предложен математический аппарат построения алгоритмов генерации информационных объектов, описываемых деревьями И-ИЛИ, который обеспечивает построение и анализ алгоритмов генерации, и показана эффективность математического аппарата для перечисления комбинаторных объектов, КС-грамматик и решения уравнений специального вида.

3. Разработаны оригинальные алгоритмы генерации тестовых заданий и вопросов. С использованием разработанного метода анализа и построения алгоритмов генерации дана оценка мощности генераторов, построенных на основе шаблонов, таблиц и графов. Показано, что для моделей знаний, представленных в табличной и графовой форме, алгоритмы генерации формируют корректные вопросы.

4. Предложен новый язык декларативного типа для описания тестовых заданий и вопросов, грамматика которого относится к классу LL(1), обладающий свойством инвариантности к форме представления, что позволяет конвертировать описание теста в другие форматы представления.

5. Впервые разработана технология и система построения компьютерных учебных программ контроля знаний на основе применения генераторов, которые позволили решить следующие задачи:

1) организовать действенный текущий и итоговый контроль в дистанционной технологии обучения;

2) повысить надежность компьютерного контроля негативных явлений (плагиат, шпаргалки, взлом аттестационных программ).

3) разработчикам компьютерных учебных программ оперировать не конкретным множеством вопросов, а моделями и базами знаний.

6. Практическая значимость полученных результатов состоит в следующем.

1. Инструментальная система обеспечивает создание и сопровождение компьютерных программ тестового контроля с использованием генераторов для вузов, техникумов и других учреждений, занимающихся образовательной деятельностью.

2. База компьютерных контрольных работ, экзаменов и генераторов компьютерных контрольных работ и экзаменов, насчитьшающая свыше 700 компьютерных учебных программ, обеспечивает тестовый контроль знаний по 300 дисциплинам естественнонаучного, гуманитарного и технического циклов.

3. Локальная система проведения экзаменов обеспечивает проведение тестирования в компьютерных классах.

4: Локальная системах проведения контрольных; работ обеспечивает тестовый контроль знаний в процессе обучения студента по дистанционной технологии.

5. Сетевая версия, системы проведения экзаменов обеспечивает проведение экзамена с использованием системы Интернет.

6. Компьютерные учебники по математике с использованием технологии генерации задач обеспечивают обучение: математическим дисциплинам в технических вузах.

7. Положения, выносимые на защиту

1. Методология разработки компьютерных учебных, программ, основанная на использовании генераторов тестовых заданий и вопросов, позволяет решить, проблемы, современного процесса обучения; основанного на применении информационных технологий.

2. Метод построения и анализа, основанный на применении деревьев. И-ИЛИ, обеспечивает получение алгоритмов генерации информационных объектов и исследование их свойств: мощности, управление последовательностью генерации, идентификацию;

3. Алгоритмы генерации тестовых заданий и вопросов, основанные на шаблонах, таблицах и графах, которые получены и исследованы с помощью предложенного метода, получают корректные тестовые вопросы.

4. Язык декларативного типа для описания тестовых заданий и вопросов, грамматика которого относится к классу LL(1), и обладает свойством инвариантности к форме преставления.

5. Технология построения и пакет программ-генераторов, обеспечивающие действенный контроль знаний в реальной технологии обучения.

8. Внедрение

Основные результаты диссертационной работы внедрены и используются в дистанционной технологии обучения студентов в Томском государственном университете систем управления и радиоэлектроники по 38 специальностям, в Кемеровском технологическом институте пищевой промышленности по трем специальностям, в Югорском государственном университете по двум специальностям, в Томском экономико-промышленном техникуме по двум специальностям. Система проведения контрольных работ и экзаменов передана в отраслевой фонд алгоритмов и программ Министерства образования Российской Федерации (свидетельство регистрации № 3524). Инструментальная система «Фея-3» передана в отраслевой фонд алгоритмов и программ Министерства образования Российской Федерации (свидетельство регистрации № 3510). Пакет генераторов по дисциплине «Высшая математика» для проведения экзаменов передан в отраслевой фонд алгоритмов и программ Министерства образования Российской Федерации (свидетельство регистрации № 3536).

9. Личный вклад автора

Математический аппарат, модели, алгоритмы, инструментальные системы и технологии, изложенные в диссертации, разработаны лично автором. Компьютерные учебные программы тестового контроля и генераторы разработаны сотрудниками лаборатории инструментальных средств моделирования (ЛИСМО) при участии и под руководством автора. В совместных публикациях автору принадлежат идеи построения генераторов, их практическая реализация и внедрение в реальный процесс обучения.

10. Апробация результатов диссертации

Основные результаты диссертации были доложены на международных, всесоюзных, всероссийских, региональных конференциях и семинарах, в том числе: на международной конференции «East-West Conference on Emerging Computer Technologies in Education», Москва, 1992; на конференции «Новые информационные технологии в университетском образовании», Новосибирск, 1995; на межрегиональной конференции «Проблемы информатизации региона», Красноярск, 1995; на международной научно-методической конференции «Новые информационные технологии в университетском образовании», Новосибирск, 1996; на научно-методической конференции «Самостоятельная работа студентов. Дидактическое и программное обеспечение», Томск, 1999; на международной конференции «Application of the Conversion Research Results for International Cooperation, SIBCONVERS '99», Томск, 1999; на Всероссийской конференции «Электронные учебники и учебно-методические разработки в открытом образовании», Москва, 2000; на IV международной научно-практической конференции «Высшее образование: качество и интернационализация», Томск, 2000; на научно-методической конференции «Современное образование: качество и новые технологии», Томск, 2000; на научно-практическом семинаре «Учебно-методическое обеспечение открытого инженерного образования, Пенза, 2001; на международной научно-практической конференции «Градоформирующие технологии XXI века», Москва, 2001; на второй международной конференции «2-nd WBLE Conference», 2001, Lund University, Швеция; на международной методической конференции «Новые информационные технологии в университетском образовании», Кемерово, 2002; на Всероссийской конференции «Современная образовательная среда», Москва, 2002; на международной научно-методической конференции «Новые информационные технологии в университетском образовании», Новосибирск, 2003; на международной научно-методической конференции «Развитие системы образования в России XXI века», Красноярск, 2003; на международном конгрессе «Информационные технологии в образовании», Москва, 2003; на Всероссийской научно-методической конференции «Телематика», Санкт-Петербург, 2003; на III Всероссийской научно-практической конференции-выставке «Единая образовательная информационная среда: проблемы и пути развития», Омск, 2004; на международной научно-методической конференции «Инновационные технологии организации обучения в техническом вузе: на пути к новому качеству образования», Пенза, 2004.

11. Публикации

Результаты диссертационной работы опубликованы в 104 научных работах, в том числе в двух монографиях, в двух учебных пособиях и в 15 статьях журналов, рекомендованных ВАК РФ для опубликования научных результатов диссертаций на соискание ученой степени доктора наук.

12. Структура и объем работы

Диссертация состоит из введения, шести глав, заключения, списка использованной литературы; содержит 255 страниц основного текста, 32 рисунка, 23 таблицы, десять приложений. Библиография содержит 314 источников.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Кручинин, Владимир Викторович

Основные результаты проведенного исследования следующие.

1. Проведен системный анализ компьютерных учебных программ, позволивший выявить совокупность требований, важнейшими из которых являются защита компьютерных учебных программ от взлома, плагиата и использования шпаргалок. Рассмотрены подходы к разработке компьютерных учебных программ и основной цикл работы такой программы. Предложены концептуальные модели компьютерных учебных программ: кадровая модель, модель программы обучения решению задач и модель интеллектуальной программы контроля знаний. Разработана обобщенная модель генератора вопросов и тестовых заданий, выявлены основные свойства генератора.

2. Предложен математический аппарат построения и анализа алгоритмов генерации, который базируется на использовании деревьев И/ИЛИ. Введено понятие варианта дерева И/ИЛИ и разработаны основные алгоритмы: подсчета вариантов и генерации варианта по номеру. Показано, что временная сложность этих алгоритмов равна 0(п), где п — число узлов в дереве. Исследованы основные перечислительные свойства таких деревьев, рассмотрены алгоритмы, определяющие эти свойства. Показана связь между алгоритмами перечислительной комбинаторики и предложенным методом на примерах генерации сочетаний и размещений, предложен алгоритм перечисления всех решений уравнения специального вида. Правильность работы алгоритмов подтверждается численным моделированием. Показана работоспособность и эффективность метода для перечисления выражений язьжов, описываемых КС-грамматиками.

3. Созданы модели и алгоритмы генерации тестовых заданий и вопросов. На основе метода анализа и построения алгоритмов генерации дана оценка мощности генераторов, построенных на основе шаблонов, таблиц и графов. Показано, что для моделей знаний, представленных в табличной и графовой форме, алгоритмы генерации формируют корректные вопросы.

4. Разработан язык декларативного типа для описания компьютерных тестов, важными свойствами которого являются:

1) грамматика языка относится к классу LL( 1 )-грамматик;

2) язык обладает инвариантностью к форме представления. Разработаны алгоритмы преобразования языка описания в язык HTML.

5. Создана технология построения генераторов тестовых задач и вопросов. В основе этой технологии лежит программное обеспечение, представленное в виде классов, реализующих:

1) контейнеры для алгоритмов перечисления деревьев И-ИЛИ;

2) операторы языка представления теста;

3) интерфейс встраивания объектов генераторов в язык интерпретирующего топа, который основан на развитии методов связывания DLL.

6. Разработаны технологии и программное обеспечение для создания компьютерных учебных программ и систем контроля знаний:

1) инструментальная система «Фея-3»;

2) технология создания и сопровождения компьютерных учебных программ контроля знаний;

3) системы проведения контрольных работ и экзаменов;

4) программное обеспечение технологии создания генераторов;

5) пакетьг генераторов тестовых заданий и вопросов по конкретным дисциплинам;

6) база компьютерных учебных программ контроля знаний;

7) программное обеспечение генерации тестовых зданий в компьютерных учебниках по математике.

ЗАКЛЮЧЕНИЕ

Исследования, проведенные в данной работе, позволили решить крупную научную и техническую проблему — создание методов и алгоритмов построения учебных программ и систем на основе генераторов информационных объектов. Решение этой проблемы обеспечивает устранение негативных явлений и повышение качества обучения в вузах, в том числе и по дистанционной технологии обучения.

Список литературы диссертационного исследования доктор технических наук Кручинин, Владимир Викторович, 2005 год

1. Филатов, O.K. Информатизация современных технологий обучения в высшей школе / O.K. Филатов. —Ростов-на-Дону: б.и., 1997. — 212 с.

2. Концепция информатизации высшего образования Российской Федерации. —М.: б.и., 1993. — 226 с.

3. Информатика: энциклопедический словарь для начинающих / сост. Д.А. Поспелов — М.: Педагогика-Пресс, 1994. — 352 с.

4. Готлиб, М. Структура АОС / М. Готлиб // Информатика и образование.1987. — № 3. — С. 11-13.

5. Терских, В. Автоматизированные обучающие системы: концепция промышленного создания / В. Терских // Информатика и образование. — 1987.1. —С. 3-15.

6. Кручинин, В.В. Разработка компьютерных учебных программ / В.В. Кручинин. — Томск : Изд-во Том. ун-та, 1998. — 211с.

7. Петрушин, В.А. Авторская система для создания электронных энциклопедий / В.А. Петрушин // Тез. докл. Междунар. конф. «Восток-Запад по новым информационным технологиям в образовании». — М., 1992. — С. 68-69.

8. Алексеенко, Е.А. СПОК-система программирования и поддержания обслуживающих и обучающих курсов / Е.А. Алексеенко, А.М. Довгялло, И.Х. Косая // Управляющие системы и машины. — 1978. — № 2. — С. 127-128.

9. Новиков, В. АОС в вузе / В. Новиков, М. Орехов // Информатика и образование. — 1987. — № 2. — С. 74-82.

10. Новиков, В. А. Типовые пакеты прикладных программ для автоматизированных обучающих систем / В.А. Новиков. — М.: НИИВШ, 1985.1. Вып. 8. — 44 с.

11. Савельев, А .Я. Подготовка информации для автоматизированных обучающих курсов / А .Я. Савельев, В.А. Новиков, Ю.И. Лобанов. — М.: Высш. шк., 1986.—176 с.

12. Лавендел, Ю.О. Автоматизированная обучающая система; «КОНТАКТ» на базе ЕС ЭВМ: Версия «КОНТАКТ/ДОС» / Ю.О. Лавендел, У .А. Суковский, B.C. Шитиков. — Рига: б.и., 1979. — 68 с.

13. Автоматизированная обучающая система КОНТАКТ/ОС : учеб. пособие/Л.В. Зайцева и др.. — М.: [б.и.], 1982. -108 с.

14. Alderman, D. L., Appel. L. Щ & Murphy, R Т. (1978): PLATO and Т1ССГГ:An evaluation of computer-assisted instruction in the community college. Educational Technology, 18(4\ 40^15.

15. Kulik, J., Kulik, C., & Cohen, P. (1980).EiTectiveness of computer-based college teaching:A meta analysis of findings. Review of Educational Research, 50, 525-544.

16. Magidson, E. M: (1978).Issues overview: Trends in: computer-assisted, instruction. Educational Technology, 18(4), 5-8.

17. Suppes, P., & Mackcn, E. (1978).The historical patli from research and development to operation use of CAI. Educational Technology, 18(4), 9-11.

18. Когдов, Ю.М. ЭВМ в , образовательных системах развитых капиталистических стран / Ю.М. Когдов^ Е.Ю. Семенова; — М.: б.и., 1990: — 56 с. (Новые информационные технологии в образовании: Обзорная информ. / . НИИ ВО ; вып. 1).

19. Довгялло, A.M. Обучающие системы нового поколения / А.М. . Довгялло, Е.Л. Ющенко // УСиМ: 1988. -№ 1. - С. 83-86.

20. Свиридов, А.П. Основы статистической теории обучения и контроля знаний / А.П. Свиридов. — М.: Высш. шк., 1981. — 262 с. . .

21. Беспалько, В.П. Слагаемые педагогической технологии / В.П. Беспалько. — М.: Педагогика, 1989.— 192 с.

22. Талызина, Н.Ф. Методика составления обучаюищх программ / Н.Ф. Талызина.-М.: б.и., 1980. -47 с.

23. Гершунский, Б.С. Компьютеризация в сфере образования: проблемы и перспективы / Б.С. Гершунский. — М.: Педагогика, .1987. —265 с. . .

24. Звенигородский, ГА. Законы программирования: Правила записи предписаний на языке Робик / Г.А. Звенигородский // Квант. — 1979. — № 9. — С. 52-54. '

25. Звенигородский, Г.А. Арифметические предписания; языка Робик. Условные и циклические предписания. Процедуры с параметрами / Г.А. Звенигородский // Квант. -1979. № 11. - С. 44-47.

26. Звенигородский, Г.А. Множества и кортежи на Рапире / Г.А. Звенигородский// Квант. —1980. — № 3. — С. 51-56.

27. Программное: наполнение системы «Школьница» / Г.А. Звенигородский | и др. // Проблемы школьной информатики. — Новосибирск : ВЦ СО АН СССР, 1986. С. 39-45.

28. Вирсанофьев, Д.В. Е-практикум — программное обеспечение школьного курса информатики и ■ вычислительной техники / Д.В. Вирсанофьев, А.Г. Кушниренко, Г.В. Лебедев- // Микропроцессорные средства и системы. — 1985.-№3.-С. 27-37.

29. Кумир |и др. //Информатика и образование. —1990.—№ 3. — С. 25-32.

30. Икауниекс, Э. Основы Бейсика / Э: Икауниекс // Информатика и образование. -1987. -№ 1. С. 62-75.33: Брусиловский, Ш Языки для обучения основам программирования / П. Брусиловский // Информатика и образование. — 1990. — № 2. — С. 3-9.

31. Николов, М. Начала информатики. Язьж Лого / М. Николов; Е. Сендова. М.: Наука, 1989. -176 с.35: Опыт проектирования, тиражирования и сопровождения; аппаратно-программного обеспечения компьютерных классов для средних школ / В.П.

32. Тарасенко и др. // Новые информационные технологии в университетском образовании : тез. докл. — Новосибирск: НИИМИОО, 1995. С. 183-184.

33. Горчаков, JI.B. Опыт использования инструментальной программы ТРИ-ЛОГО для разработки обучающих программ в школе / Л.В. Горчаков // Там же.-С. 154-155.

34. Кручинин, В.В. Система программирования ТРИ-ЛОГО / В.В. Кручинин //Автоматизация проектирования, идентификация и управление в сложных технических системах. — Томск: Изд-во НТЛ, 1997. — С. 194-204.

35. Кручинин, В.В. Технологические и организационные аспекты разработки электронных учебников, практикумов, тренажеров / В.В. Кручинин, С.З. Ямпольский // Кибернетика и ВУЗ. 1999. - Вып. 29. - С. 185-201.

36. Ершов, А.П. Компьютеризация школы и математическое образование / А.П. Ершов // Программирование. —1990.—№ 1. — С. 5-25.

37. Ершов, А.П. Концепция использования средств вычислительной техники в сфере образования / А.П. Ершов. — Новосибирск. — 1990. — 58 с. — (Препр./ АН СССР, Сиб. отд-ние; ВЦ; № 888).

38. Сеймур, Пейперт. Переворот в сознании: Дети, компьютеры и плодотворные идеи / Пейперт Сеймур. — М.: Педагогика, 1989, — 221 с.

39. Bennett, F. Computers as Tutors: Solving the Crisis in Education // Frederick Bennett. Sarasota, FL: Faben, Inc. 1999.232 pp, ISBN 0-9669583-6-5.

40. Bennett, F. The Future of Computer Technology in K-12 Education//Phi Delta Kappan, vol. 83, no. 8, April 2002, pp. 621-625.

41. Online Education and Learning Management Systems — Global E-learning in a Scandinavian Perspective /Morten Flate Paulsen.- Oslo, Norway: NKI Forlaget, 2003.-Pages: 337, ISBN: 82 562 5894 2.

42. The Power Of The Internet For Learning: Moving From Promise To Practice Report Of The Web-Based Education Commission/ Kerrey В., Isakson J.-Washington , DC, DECEMBER 2000,- 167 p. http://www.ed.gov/offices/AC/ WBEC/FinalReport/WBECReportpdf.

43. Development of knowledge in the field of vocational training at a distance in the European Union Final Report/ Helmut Fritsch, Desmond Keegan, Benedetto Vertecchi, 1998. http://www.femuni-hagen.de/ZIFF/finalvoc.htm.

44. Щенников, C.A. Открытое дистанционное образование / С.А. Щенников. М.: Наука, 2002. - 527 с.

45. Карпенко, М.П. Концептуальные основания развития дистанционного обучения в России / М.П. Карпенко, Н.А. Московцев // Труды СГУ. — М., 1999. -Вып. 15.-С. 5-20.

46. Тихомиров, В.П. Среда Интернет обучения системы образования России: проект Глобального виртуального университета /В.П. Тихомиров,-В.И. Солдаткин, C.JI. Лобачев; Международная академия открытого образования. — М.:МЭСИ, 2000.-332 с.

47. Основы открытого образования. Т. 1. Российский государственный институт открытого образования / А.А. Андреев и др.; под ред. В.И. Сол-даткина. М.: НИИЦ РАО, 2002. - 676 с.

48. Лобачев, В.А. Дистанционные образовательные технологии: информационный аспект / В.А. Лобачев, В.И. Солдаткин. — М.: МЭСИ, 1998.104 с.

49. Канаев, В.Н. Дистанционное обучение: технологические аспекты / В.Н. Канаев. М.: СГА, 2004. - 196 с. - ISBN 5-8323-0336-9.

50. Щенников, С. Опыт ЛИНК по развитию открытого дистанционного образования в регионах России // Alma mater: Вестник высшей школы. — 1999. — №5.-С. 9-15.

51. Учебно-методическое и программное обеспечение Томской дистанционной технологии обучения студентов / А.В. Кобзев и др. // Сб. докл.1\1еждунар. науч.-практ. конф. «Градоформирующие технологии XXI века». — М: МАДЩГТУ), 2001. С. 155-165.

52. D. Karminskaya, V. Bonlar, V. Kruchinin System Of Realization Of Common Information Space In Education Process/I.Panfilov // 2-nd WBLE Conference-2001,24-26 October, Lund University. P. 121-126.

53. Организация дисл-анцио! шого обучения в условиях интеграции вузов / А.В. Кобзев и др. //Высшее образование сегодня. — 2005. — № 3. — С. 24-29.

54. Щербинина, И;А. Администрирование процесса дистанционного обучения — опыт МИЭМ // Университетское управление: практика и анализ. — 2000.-№ 1(12).-С. 47-49.

55. Игнатова, И.Г. Система полномасштабного электронного обучения в вузе //Высшее образование сегодня. — 2004. №10. — С. 56-58.

56. Методика применения, дистанционных образовательных технологий (дистанционного обучения) в образовательных учреждениях высшего, среднего и дополнительного профессионального образования РФ // Поиск. — 2003- — №4.-С. 8-9. .

57. Спутниковые телекоммуникационные технологии и дистанционное обучение в Современном гуманитарном университете / О.М; Карпенко и др. // Сети и системы связи. — 2001. — № 12. — [http://www.video.muh.ru/press/ sputtelecom tech:asp]. . .

58. Бондарь, В .А. Стратегия построения программного обеспечения автоматизированного обучения в Томском межвузовском центре дистанционного образования / В .А. Бондарь, А.В. Кобзев, В.В. Кручинин // Тр.

59. Междунар. науч.-практ. конф. «Высшее образование: качество и интернационализация». — Томск: Изд-во Том. политехи, ун-та, 2000. — С. 67.

60. Носуленко, А.В. Классификация информационных систем и их применение в сфере автоматизации дистанционного обучения / А.В. Носуленко // Открытое образование. — 2004.—№ 5. — С. 52-59.

61. Исакова, О.Ю. Технология мониторинга знаний в Томском межвузовском центре дистанционного образования / О.Ю. Исакова, В.В. Кручинин, А.В. Миллер // Тр. науч.-практ. конф. «Информационные недра Кузбасса». -Кемерово, 2003. С. 180-181.

62. Лобачев, С.Л. Интернет обучение: тенденции и проблемы / С.Л. Лобачев, В.И. Солдаткин // Телекоммуникации и информатизации образования -2004.- №2.-С. 18-39.

63. Corporate Software Engineering Knowledge Networks for Improved Training of the Work force (CORONET) LEARNING MANAGEMENT SYSTEMS & AUTHORING TOOLS.-IST-1999-l 1634.- 2001-87p.

64. Средства дистанционного обучения. Методика, технология, инструментарий / С.В. Агапонов и др.; под ред. З.О. Джалиашвили. — СПб.: БХВ-Петербург, 2003. 336 с. -ISBN 5-94157-241-7.

65. Башмаков, А.И. Разработка компьютерных учебников и обучающих систем / А.И. Башмаков, И.А. Башмаков. — М.: Информационно-издательский дом «Филинъ», 2003. 616 с. - ISBN 5-9216-0044-Х.

66. Открытое образование. Термины и определения / В.П. Тихомиров и др.. — МЭСИ, 2005. — |bttp://wvvw.info.me

67. Momingstar, В. WebCT: a major shift of emphasis/ Barbara Morningstar, Jeremy Schubert, Kristine Thibeault International Review of Research in Open and Distance Learning (November 2004). - ISSN: 1492-3831.

68. Rapid adoption, globalization: a vendor-provided case study Blackboard's approach to developing learning systems.-T+D, April, 2003 Training & Development Magazine. http://www.fmdarticles.coiri/p/articles/mim0MNT/is457/ai99932989.

69. Bowling, E. Understanding the architecture of LeamingSpace/ IBM-2002. — http://www10.1otus.conVldd/today.nsfT)isplayForm/44040B437D06021185256B9C006193F5?0 penDocument.

70. Amy Travis Lotus Developer Domain: A quick course in LeamingSpace -Virtual Classroom/IBM -2002.- www.lotus.com/ldd/today.nsf.

71. Kearsley, G. and Moore, M. Distance education: a systems view. Washington: Wadsworth Publishing Company, 1996.290 p.

72. Kearsley, Greg. Online Education: Learning and Teaching in Cyberspace. Belmont, CA: Wadsworth Thomson Learning, pp. 200.

73. Жуков, B.K. Новые подходы к организации контроля знаний в вузе / В.К. Жуков, В.В. Кручинин // Известия МАИ ВШ. 2004. - № 2(28), - С. 113-118.

74. Vernon, Robert F. «Plagiarism and the Web». Journal of SocialWork Education 37.1 (2001): 193-197.

75. Scanlon, Patrick M. «Internet Plagiarism Among College Students». Journal of College Student Development 43.3 (2002): 374-385.

76. Ann Lathrop, Kathleen Foss Student Cheating and Plagiarism in the Internet Era: A Wake-Up Call Paperback: 255 pages Publisher: Libraries Unlimited; Bk&Disk edition (June 15,2000) ISBN: 156308841X.

77. Словарь иностранных слов. — M.: Рус. Яз., 1989. — 624 с.

78. Кнут, Д. Искусство программирования для ЭВМ. Т. 1. Основные алгоритмы / Д. Кнут.—М.: Мир, 1976. — 736 с.

79. Лавров, С.С. Основные понятия и конструкции языков программирования / С.С. Лавров. — М.: Финансы и статистика, 1982. — 80 с.

80. Брукс, Ф. Мифический человеко-месяц, или как создаются программные системы / Ф. Брукс.—М.: Символ-Плюс, 2001. — 304 с.

81. Вельбицкий, И.В. Технология программирования / И.В. Вельбицкий. — Киев: Техшка, 1984.-250 с.

82. Ван Тассел, Д. Стиль, разработка, эффективность, отладка и испытание программ / Д. Ван Тассел. — М.: Мир, 1985. — 281 с.

83. Григас, Г. Начала программирования / Г. Григас. — М.: Просвещение, 1987.-112 с.

84. Грис, Д. Наука программирования / Д. Грис. — М.: Мир, 1984. — 416 с.

85. Иванников, В.П. О преподавании программирования // Компьютерные инструменты в образовании. — 2003. — № 4.

86. Richard, Н. Thayer: Software System Engineering: A Tutorial. IEEE Computer 35(4), 2002 p. 68-73.

87. Соммервилл, И. Инженерия программного обеспечения / И. Соммервил. — Москва: Вильяме, 2002. — 624 с.

88. Философский энциклопедический словарь. М.: Сов. энциклопедия, 1983.-840 с.

89. Жошлев, Е.А. Технологические основы модульного программирования // Программирование. —1980. — № 2. — С. 44-49.

90. Турский, В. Методология программирования / В. Турский. — М.: Мир, 1981.-264 с.

91. Дал, У. Структурное программирование / У. Дал, Э. Дейкстра, К. Хоор. -М.: Мир, 1975.-247 с.

92. Йодан, Э. Структурное проектирование и конструирование программ / Э. Йодан. -М.: Мир, 1979.

93. Линтер, Р. Теория и практика структурного программирования / Р. Линтер, X. Миллс, Б. Уатг. -М.: Мир, 1982.

94. Хогтер, К. Введение в логическое программирование / К. Хоггер. — М.: Мир, 1988.

95. Логическое программирование : сб. статей. — М.: Мир, 1988.

96. Адаменко, А.Н. Логическое программирование и Visual Prolog / А.Н. Адаменко, А.М. Кучуков . СПб.: БХВ-Петербург, 2003. - 992 с.

97. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++ : пер. с англ. / Г.Буч. — 2-е изд. — М.: Бином, СПб., 2000.-560 с.

98. Фридман, А. Л. Основы объектно-ориентированного программирования на языке Си++. — М.: Горячая линия-Телеком: Радио и связь, 1999. — 208 с.

99. Элиенс, А. Принципы объектно-ориентированной разработки программ / А. Элиенс. — М.: Вильяме, 2001. — 496 с.

100. Ларман, К. Применение UML и шаблонов проектирования / К. Ларман. М.: Вильяме, 2001. — 496 с.

101. Смольянинов, А.В. Визуальное программирование в учебном процессе / А.В. Смольянинов, В;А. Калмычков // Современные технологии обучения: сб. науч.-метод. тр. СПб.: СПбГЭТУ, 1997. - Вып. 3. - С. 8-19.

102. Фаронов, В.В. Delphi. Программирование на языке высокого уровня : учеб. для вузов /В.В. Фаронов. — СПб.: Питер, 2004. 640 с.

103. Шеферд, Д. Программирование на Microsoft Visal С++ NET : пер. с англ. / Д. Шеферд. -М.: Русская Редакция, 2003. 928 с. - ISBN 5-7502-0225-9.

104. Филд,А. Функциональное программирование / А. Филд, П.М. Харрисон. Мир: 1993. - 637 с.

105. Хендерсон, П. Функциональное программирование. Применение и реализация / П. Хендерсон.—М.: Мир, 1983. —349 с.

106. Городняя, JI.B. Основы функционального программирования / JI.B. Городняя. — М.: Интернет-университет информационных технологий, 2004. — 280 с.

107. Тыугу, Э.Х. Концептуальное программировани / Э.Х. Тыугу. — М.: Наука, 1984.-255 с.

108. Андерсен, Р. Доказательство правильности программ / Р. Андерсен. — М.: Мир, 1982.

109. Браун, П. Макропроцессоры и мобильность программного обеспечения / П. Браун. М.: Мир, 1977. - 253 с.

110. Мобильность программного обеспечения / под ред. Брауна. — М.: Мир, 1980.-336 с.

111. Астелс, Д. Практическое руководство по экстремальному программированию / Д. Астелс, Г. Миллер, М. Новак. — М.: Вильяме, 2002. — 320 с.

112. Бек, К. Экстремальное программирование: планирование / К. Бек, М. Фаулер. СПб.: Питер, 2003. - 144 с.

113. Бек, Л. Экстремальное программирование / Л. Бек. — СПб.: Питер, 2002.-224 с.

114. Чеппел, Д. Технологии ActiveX и OLE : пер. с англ. / Д. Чеппел. — М.: Русская Редакция, 1997. — 320 с.

115. Бокс, Д. Сущность технологии СОМ. Библиотека программиста / Д. Бокс. СПб.: Питер, 2001. - 400 с.

116. Оберг, Р.Д. Технология СОМ+. Основы и программирование / Р.Д. Оберг. М.: Вильяме, 2000. - 480 с.

117. RATIONAL Quatrani Т. Visual Modeling with Rational Rose 2000 and UML .-USA: Addison-Wesley, 2000. -256 c.

118. Элиенс, А. Принципы объектно-ориентированной разработки программ/А. Элиенс. -М.: Вильяме, 2001. 496 с. (CORBA).

119. Кролп, П. Rational Unified Process — это легко: руководство по RUP для практиков / П. Кролл, Ф. Крачтен ; пер. с англ. С.М. Лунина. — М: Кудиц-Образ, 2004. 432 с. - ISBN: 5-9579-0019-2, 0-321-16609-4.

120. Martin Fowler. The New Methodology, 2003. -http://www.martinfowler. com/articles/newMethodology .html.

121. Зелковец, M. Принципы разработки программного обеспечения / М. Зелковец, А. Шоу, Дж. Геннон. — М.: Мир, 1982.

122. Моисеев,Н.Н. Системный анализ/Н.Н.Моисеев. —М.: Наука, 1981.

123. Перегудов, Ф.И. Введение в системный анализ / Ф.И. Перегудов, Ф.П. Тарасенко. -М.: Высшая школа, 1989. — 367 с.

124. Машбиц, Е.И. Психолого-педагогические проблемы компьютеризации обучения / Е.И. Машбиц. — М.: Педагогика, 1988. —191 с.

125. Образцов, П.И. Психолого-педагогические аспекты разработки и применения в вузе информационных технологий обучения / П.И. Образцов. — Орел: Орловский гос. техн. ун-т, 2000. — 145 с.

126. Роберт, И.В. Современные информационные технологии в образовании: дидактические проблемы, перспективы использования / И.В. Роберт. — М.: Школа-Пресс, 1994.-321 с.

127. Беспалько, В.П. Программированное обучение : Дидактический аспект / В.П. Беспалько.—М.: Педагогика, 1970. — 300 с.

128. Андреев, А.А. Педагогика высшей школы. Новый курс / А.А. Андреев. М.: МЭСИ, 2002. - 264 с.

129. Фролова, Г.В. Педагогические возможности ЭВМ: Опыт. Проблемы. Перспективы / Г.В. Фролова.—Новосибирск: Наука, Сибирское отделение, 1988. -173 с.

130. Филатов, O.K. Информатизация современных технологий обучения в высшей школе / О.К. Филатов. Ростов-на-Дону: б. и., 1997. —212 с.

131. Башмаков, М.И. Информационная среда обучения / М.И. Башмаков, С.Н. Поздняков, Н.А. Резник. СПб.: СВЕТ, 1997. - 400 с.

132. Концептуальные проблемы информатизации общего среднего образования / И.М. Бобко и др.. — Новосибирск: Методические разработки НИИ информатики и вычислительной техники Академии педагогических наук, 1990.-22 с.

133. Кречетников, К.Г. Особенности проектирования интерфейса средств обучения // Информатика и образование. — 2002. — № 4. — С. 65-73.

134. Коутс, Р. Интерфейс «человек-компьютер» : пер. с англ. / Р. Коутс, И. Влейминк. -М: Мир, 1990. 501 с.

135. Мунипов, В. М. Эргономика: человекоориентированное проектирование техники, программных средств и среды: учеб. для студентов вузов /В. М. Мунипов, В.П. Зинченко. -М.: Логос, 2001. 356 с.

136. Основы инженерной психологии / под ред. Б.Ф. Ломова. — М.: Высшая школа, 1986. — 448 с.

137. Фаустова, Э. Компьютер в жизни студента // Высшее образование в России. 2003. - № 1. - С. 87-90.

138. Вострокнутов, И.Е. Почему устают глаза при работе на компьютере // Информатика и образование. — 2002. — № 1. — С. 67-70.

139. Трофимова, Г.Н. Интернет-эпоха в русской филологии // Высшее образование сегодня. — 2004. — С. 31-35.

140. Роберт, И.В. Педагогико-эргономические условия безопасного и эффективного использования средств вычислительной техники, информатизации и коммуникации в сфере общего и среднего образования // Информатика и образование. 2001. - № 1. — С. 16-20.

141. Гигиенические требования к видеодисплейным терминалам, персональным электронно-вычислительным машинам и организации работы : Сан-пин 2.2.2.542-96 : утв. Постановлением Госкомсанэпиднадзора РФ от 14.07.96. п. 14.

142. Заморин, А.П. Толковый словарь по вычислительной технике и программированию. Основные термины / А.П. Заморин, А.С. Марков. — М.: Рус. яз., 1988.-221 с.

143. Талызина, Н.Ф. Методика составления обучающих программ : учеб: пособие / Н.Ф. Талызина. М.: МГУ, 1980. - 47 с.

144. Растригин, JI.A. Компьютерное обучение и самообучение // Информатика и образование. —1991.—№ 2. — С. 42-46.

145. Растригин, JI.A. Адаптивное обучение с моделью обучаемого / JI.A. Растригин, М.Х. Эренштейн. — Рига: Зинатне, 1988. — 166 с.

146. Федоров, Б.И. Логика компьютерного диалога / Б.И. Федоров, З.О. Джишиашвили.—М.: Онега, 1996.—240 с.

147. Поликахин, А.В. Гипертекст: сущность, состояние, проблемы, перспективы / А.В. Поликахин, А.Ю. Совин. — М.: Ин-т проблем естествознания, 1993.-128 с.

148. Агеев, В.Н. Примеры гипертекстовых и гипермедиа систем (обзор) // Компьютерные технологии в высшем образовании: — М.: МГУ, 1994. — С. 225229.

149. Palmer W. Agnew, Anne S. Kellerman, Jeanine Meyer Multimedia in the Classroom Allyn & Bacon; 1 edition, 1996,308 p. ISBN: 0205164080.

150. Сваровский, И.Н. Анализ технических средств для дистанционного обучения / И.Н. Сваровский, О.Б. Журавлева // Тез. докл. науч.-метод. конф. «Дистанционное образование. Состояние, -проблемы, перспективы». — Томск, 1997.-С. 32-33.

151. Park, О. Hypermedia: Functional Features and Research Issues. Educational Technology, August, 1991.24-31.

152. Брусиловский, П.JI. Интеллектуальные обучающие системы // Информатика. Информационные технологии. Средства и системы. — 1990. — №2.-С. 3-22.

153. Интеллектуальные обучающие системы и виртуальные учебные организации / В:В: Голенков и др.. Минск: БГУИРб, 2001. - 488 с.

154. Попов, С.В. О проблеме создания интеллектуальных обучающих систем / С.В. Попов, Е.Е. Трифонова // Информатика и образование. — 2003. — № 8.-С. 53-64.

155. Carbonell, J. К (1970). AI in CAI: Artificial intelligence approach to computer assisted instruction .IEEE Transactions on Man-Machine Systems 11(4): 190-202.

156. Sleeman, D. H. & Brown, J. S. (Eds.). (1982). Intelligent Tutoring Systems. New York: Academic Press.

157. Wenger, E. (1987). Artificial Intelligence and Tutoring Systems: Computational and Cognitive Approaches to the Communication of Knowledge. Los Altos, CA: Morgan Kaufinann. ISBN: 0934613265.-486 p.

158. Брусиловский, П.Л. Построение и использование моделей обучаемого в интеллектуальных обучающих системах // Техническая кибернетика. — 1992. — №5.-С. 97-119.

159. Гаврилова, Т.А. Извлечение и структурирование знаний для экспертных систем / Т.А. Гаврилова, К.Р. Червинская. — М.: Радио и связь, 1992. -200 с.

160. Частиков, А.П. Разработка экспертных систем. Среда CLIPS : учеб. пособие / А.П. Частиков, Т.А. Гаврилова, Д.Л. Белов. — СПб.: БХВ-Петербург, 2003. 606 с. - ISBN 5-94157-248-4.

161. Питер Джексон. Введение в экспертные системы. — СПб.: Вильяме, 2001. 624 с. - ISBN 5-8459-0150-2.

162. Ефимов, Е.И. Решатели интеллектуальных задач / Е.И. Ефимов. — М.: Наука, 1982.-320 с.

163. Brusilovsky, P., Ritter, S., and Schwarz, Е.: Distributed intelligent tutoring on the Web. In: du Boulay, B. and Mizoguchi, R (eds.) Artificial Intelligence in Education: Knowledge and Media in Learning Systems. IOS, Amsterdam (1997) 482489.

164. Тарасов, В.Б. Агенты, многоагентные системы, виртуальные сообщества: стратегическое направление в информатике и искусственном интеллекте // Новости искусственного интеллекта. — 1998. — № 2. — С. 5-63.

165. Исакова, О.Ю. Проблемы контроля знаний в дистанционной технологии и пути их решения / О.Ю. Исакова, В.В. Кручинин //

166. Международный конгресс «Информационные технологии в образовании» : сб. тр. М.: Просвещение, 2003. - Ч. V. - С. 299-300.

167. Кручинин, В.В. Программные генераторы (обзор) // Докл. Томск, гос. ун-та систем управл. и радиоэлектроники. — 2004.—№ 2(10). — С. 64-68.

168. Методы Монте-Карло в статистической физике / К. Биндер и др.. — М.: Мир, 1982.-400 с.

169. Прицкер, А. Введение в имитационное моделирование и язьж CJIAM П / А. Прицкер. М.: Мир, 1997. - 646 с.

170. Буймов, А.Г. Корреляционно-экстремальная обработка изображений / А.Г. Буймов. — Томск: Изд-во Том. гос. ун-та, 1987. — 132 с.

171. Цветков, В.Я. Геоинформационные системы и технологии : серия «Диалог с компьютером» / В.Я. Цветков. — М.: Финансы и статистика, 1998. — 286 с.

172. Кнут Д. Искусство программирования для ЭВМ. Т. 2. Получисленные алгоритмы / ред. пер. К.И. Бабенко ; пер. Г.П. Бабенко, Э.Г. Белага, JI. В. Майоров. М.: Мир, 1977. - 723 с.

173. Баас, P. Delphi 4: полное руководство : пер. с нем. / Р. Баас, М. Фервай, X. Гюнтер. Киев: BHV, 1998. - 800 с.

174. Маккиман, У. Генератор компиляторов: пер. с англ. / У. Маккиман, Хорнинг Дж. Уортман.—М.: Статистика, 1980. — 527 с.

175. Борисов, С.И. Применение генераторов в компьютерных технологиях обучения / С.И. Борисов, В.В. Кручинин // Интеграция образования. — 2004. — №4.-С. 116-121.

176. Жуков, Д.О. Тестирование заданий по физике с помощью интеллектуальных генераторов // Информационные ресурсы России. — 2004. — №4(80).-С. 22-25.

177. Жуков, В.К. Новые подходы к организации контроля знаний в вузе / В.К. Жуков, В.В. Кручинин // Известия МАН ВШ. 2004. - № 2(28). - С. 113118.

178. Кручинин, В:В. Проблемы и пути решения защиты компьютерных учебных программ // Докл. третьей науч.-практ. конф. «Современные средства и системы автоматизации — гарантия высокой эффективности производства». — Томск. -2002. С. 328-330.

179. Левинская, М.А. Автоматизированная генерация заданий по математике для контроля знаний учащихся // Educational Technology & Society 5(4) 2002. -ISSN 1436^522. -pp. 214-221.

180. Кручинин, B.B. Генераторы в компьютерных учебных программах /

181. B.В. Кручинин. — Томск: Изд-во Том. гос. ун-та, 2003. — 200 с.

182. Кручинин, В.В. «Модели и алгоритмы генерации задач в компьютерном тестировании» / В.В. Кручинин, Ю.В. Морозова // Известия И1У. — 2004. —№5 —С. 127-131.

183. Кручинин, В.В. Модели генераторов вопросов для компьютерного контроля знаний / В.В. Кручинин, Ю.В. Морозова // Открытое и дистанционное- образование. 2004. - Вып. 2(14). - С. 36-42.

184. Кручинин, В.В. Использование графов для построения генераторов вопросов в компьютерных учебных программах // Вестник HI ТУ. — № 3(18). —1. C. 187-194.

185. Кручинин, В.В. Использование деревьев И/ИЛИ для генерации вопросов и задач // Вестник 11 У : серия «Математика. Кибернетика. Информатика». 2004. - № 284. - С. 185-189.

186. Кручинин, В.В. Генерация тестовых вопросов и заданий по информатике // Информатика и образование. 2005. - № 2. — С. 87-93.

187. Гульден, Я; Перечислительная комбинаторика / Я. Гульден, Д: Джексон.-М.: Наука, 1990. 504 с.

188. Стенли, Р. Перечислительная комбинаторика / Р. Стенли. — М.:.Мир, 1990.-440 с.

189. Сачков, В Н. Комбинаторные методы дискретной математики / В Н. Сачков. М: Наука, 1997. - 317 с.

190. Рейнгольд, Э. Комбинаторные алгоритмы. Теория и практика / Э. Рейнгольд, IO. Нивергельг, Н. Део. М.: Мир, 1980. - 496 с.

191. Липский, В. Комбинаторика для программистов / В. Липский. — М.: Мир, 1988.-213 с. .

192. Akl, S.G. A comparison of combination generation methods // ACM Trans, of Math. Software, 7(1981). -p. 42-45.

193. Akl, S.G; Adaptive: and optimal parallel? algorithms lor enumerating permutations and combinations // Hie Computer Journal, 30(1987). —p. 433-436.

194. W. Myrvold and F. Ruskey, Ranking and Unranking Permutations in I linear Time // Tnfonnation Processing Letters, 79 (2001) 281-284.

195. Ruskey and A. Williams, Generating combinations by prefix shifts, COCOON 2005, The Eleventh International Computing and' Combinatorics Conference, Kunming, China, 2005; — http://www.cs.uvic.ca/~ruskey/Publications/.!

196. Рябко, Б .Я. Быстрая нумерация комбинаторных объектов // Дискретная математика. -1998. Т. 10. - № 2. - С. 101 -119:

197. Тимофеева; НДС. О способах, организации аргументов целевой, функции; в задаче комбинаторной^ оптимизации // Кибернетика и системный? анализ. -2002. -№ 6. С. 96-103.

198. Тимофеева, I LK. Об особенностях формирования и упорядочения выборок//Кибернетика и системный анализ. — 20041—№ 3. -С. 179-187.213; Кручинин, В.В. Алгоритмы и перечислительные свойства деревьев И/ИЛИ// Вестник Том. гос. ун-та. 2004. - № 4.

199. Кручинин, В.В. Генерация сочетаний, размещений и счастливых билетов // Компьютерные инструменты в образовании. — 2005.—№ 2.

200. Кручинин, В.В. Использование деревьев И/ИЛИ для перечисления выражений контекстно-свободных языков // Вестник Томск, гос. пед. ун-та. — 2004.- №4.

201. Slagle, J.R. A Heuristic Program that Solves Symbolic Integration Problems in Freshmen Calculus In E. Feigenbaum and J. Feldman, editors, Computer and Thought, pages 192-203, McGraw-Hill, New York, 1963.

202. Nilsson, N. Principles of Artifical Intelligence. Spring Verlag, 1983.

203. Ефимов, Е.И. Решатели интеллектуальных задач / Е.И. Ефимов. — М.: Наука, 1982. -320 с.

204. Братко, И. Программирование на языке Пролог для искусственного интеллекта / И. Братко. — М.: Мир, 1990. — 560 с.

205. Ландо, С.К. Комбинаторика / С.К. Ландо. — М.: Изд-во независимого Моск. ун-та, 1994. 78 с.

206. Виленкин, Н.Я. Счастливые троллейбусные билеты «Популярная комбинаторика» /Н.Я. Виленкин. — М.: Наука, 1975.-С. 147-148.

207. Ландо, С.К. Счастливые билеты // Математическое просвещение. — 1998. -№ 2. -С. 127-132.

208. Erkki Makinen Ranking and unranking left szilard languages. University of Tampere, Departament of Computer science, Series of publications A A-1997-2, January, 1997. 10 p.

209. Ахо, А. Теория синтаксического анализа, перевода и компиляции. Т. 1. Синтаксический анализ / А. Ахо, Дж. Ульман.—М.: Мир, 1978. — 535 с.

210. Гаврилова, Т.А. Базы знаний интеллектуальных систем / Т.А. Гаврилова, В.Ф. Хорошевский. — СПб.: Питер, 2001. — 384 с.

211. Осуга, С. Обработка знаний / С. Осуга; пер. с яп. В.И. Этова. — М.: Мир, 1989.

212. David R. Musser, Alexander A. Stepanov Generic Programming Proceedings of the International Symposium ISSAC'88 on Symbolic and Algebraic Computation 1989, July 04 08,1988, pp. 13-25.

213. Matthew H. Austern Generic Programming and the STL: Using and Extending the С++ Standard Template Library.- Addison-Wesley Professional; 1st edition (October 13,1998) 576 pages ISBN: 0201309564.

214. Andrei Alexandrescu Modern С++ Design: Generic Programming and Design Patterns Applied Paperback: Addison-Wesley Professional.- (February 13, 2001) 352 pages; 1st edition ISBN: 0201704315.

215. Кручинин, В.В. Пакет генераторов по дисциплине «Высшая математика» для проведения экзаменов / В.В. Кручинин, Л.И. Магазинников, Ю.В. Морозова. -М.: ВНГИЦ, 2004. -№ 3536.

216. Мейер, Д. Теория реляционных баз данных / Д. Мейер. — М.: Мир,1987.

217. Евстигнеев, В.А. Применение теории графов в программировании / В.А. Евстигнеев. -М.: Наука, 1985. — 352 с.

218. Кручинин, В.В. Использование деревьев И/ИЛИ для генерации вопросов и задач // Вестник ТГУ. Серия «Математика. Кибернетика. Информатика».-2004.-№284.-С. 185-189.

219. Секунов, Н.Ю. Самоучитель Visual С++ / Н.Ю. Секунов — СПб.: БХВ-Петербург, 2001. 960 с.

220. Рейсдорф, К. Borland С++ Builder 3. Освой самостоятельно / К. Рейсдорф. -М.: ЗАО «Издательство БИНОМ», 1999. 736 с.

221. Дик, О. Популярные Web-броузеры. Энциклопедия пользователя / О. Дик, Ф. Глен. Киев: ДиаСофт, 1998.-464 с.

222. Матросов, А.В. HTML 4.0 / А.В. Матросов, А.О. Сергеев, М.П. Чаунин. СПб.: БХВ-Петербург, 1999. - 672 с. .

223. Норенков, И.П. Информационные технологии в образовании МГТУ им. Баумана / И.П. Норенков, A.M. Зимин. -М.: б. и., 2004. 352 с. - ISBN 57038-2434-6.s

224. Основы открытого образования / А.А. Андреев и др.; отв. ред. В.И. Солдаткин : Т2 : РГИОО. М.: НИИЦРАО, 2002. - 680 с.

225. Anderson, Т. IMS content packaging information model (Version 0.91). Technical report, IMS Global Learning Consortium Inc., • 2000. — http://www.imsproject.org/content.

226. Anderson, T. IMS content packaging XML binding (Version 0.91). Technical report, IMS Global Learning Consortium Lie, 2000. — http://www. imsproj ect. org/content/cpbindO 1 .html.

227. Петров, И.Б. Компьютерное тестирование и формат IMS QTI / И.Б. Петров, А.В. Трошин // Открытое образование.—2003. — № 6. — С. 50-55.

228. IMS Question & Test Interoperability: ASI XML Binding Specification, C.Smythe, E.Shepherd, LJBrewer and S.Lay, Final Specification, Version 1.2, IMS, February 2002.

229. Вех, Н.Г. Подходы к проектированию инструментария для разработки педагогических программных средств / Н.Г. Вех, В.В. Кручинин // Кибернетика и вуз. — Томск: Изд-во Том. гос. ун-та, 1993. — С. 107-122.

230. Кручинин, В.В. Технологические и организационные аспекты разработки электронных учебников, практикумов, тренажеров /В.В. Кручинин, С.З. Ямпольский //Кибернетикаи вуз. -1999. -Вып. 29. -С. 185-201.

231. Кручинин, В.В. Инструментальные системы для решения задач информатизации образования / В.В. Кручинин, В.П. Тарасенко // Тез. докл. Межрегиональной конф: «Проблемы информатизации региона». — Красноярск, 1995.-С. 244.

232. Воронин, А.И. Проблемы создания и сопровождения базы» компьютерных учебных программ в Томском* межвузовском центре дистанционного образования / А.И. Воронин, О.Ю. Исакова, В.В. Кручинин // Там же. — С. 103.

233. Кнут, Д.Е. Все про ТЕХ / Д.Е. Кнут. — Протвино: Изд-во АО RDTEX, 1993. 575 с. : ил. - Пер. изд.: The ТЕХЬоок/ Knuth D.E. -S.I., 1986. -ISBN. 5900614-01-8.

234. Гончаров, A. HTML в примерах/ А. Гончаров. — СПб.: Питер, 1997. — 192 с. ' , . .

235. Лобачев, С.Л; Теоретические основы и принципы построения; информационно-образовательной среды открытого образования и ее практическая реализация : автореф. дис. . д-ра техн. наук. — М: РГИОО, 2005. — 33 с.

236. Митюнин, В.А. Обзор средств публикации и просмотра математических документов в сети Интернет / В.А. Митюнин. — М.: МГУ. — 2005. — hltp://tex.msu.iri/mitjuniri/miTil.htm.

237. Орлов, С. Технологии разработки программного обеспечения / С. Орлов. СПб.: Питер, 2003. - 430 с.

238. Липаев, В.В. Технология сборочного программирования / В.В. Липаев, А.А. Штрик. — М.: Радио и связь, 1992.

239. Калянов, Г. Case-технологии: консалтинг в автоматизации бизнес-процессов /Г. Калянов. — СПб.: Питер, 2002. — 320 с.

240. Буч, Г. Унифицированный процесс разработки программного обеспечения/Г. Буч, Дж. Рамбо, А. Якобсон. — СПб.: Питер, 2002. — 496 с.

241. Вирт, Н. Алгоритмы + структуры данных = программы : пер. с англ. / Н. Вирт.—М.: Мир, 1985.-406 с.

242. Оберг, Роберт Дж. Архитектура .NET и программирование на Visual С++ / Роберт Дж. Оберг, Питер Торстейнсон. — М.: Вильяме, 2002. — 656 с. — ISBN 5-8459-0379-3.

243. Трофимов, С. Case-технологии. Практическая работа в Rational Rose / С. Трофимов. СПб.: Питер, 2002. - 288 с.

244. Бобровский, С. Delphi 5 : учебный курс / С. Бобровский. — СПб.: Питер, 2000.-640 с.

245. ISO/TEC 14882:1998. Programming languages С++. Languages: Edition: XN. Pages: 732.

246. David Abrahams, Aleksey Gurtovoy. С++ Template Metaprogramming: Concepts, Tools, and Techniques from Boost and Beyond Addison Wesley ISBN: 0321227255; Published: Dec 10,2004; Copyright 2005; 400; Edition: 1st.

247. Kiysztof Czarnecki, Ulrich Eisenecker Generative Programming: Methods, Tools, and Applications. Published by Addison Wesley ISBN: 0201309777; Published: Jun 6,2000; Copyright 2000; Dimensions 7-3/8x9-1/4; Pages: 864; Edition: 1st.

248. Timothy Budd. Data Structures in С++: Using the Standard Template Library (STL) Published by Addison Wesley Professional. ISBN: 0201308797; Published: Aug 20,1997; Copyright 1998; Dimensions ; Pages: 576; Edition: 1st.

249. Mark Nelson Priority Queues and the STL Dr. Dobb's Journal January, 1996 bttp://dogma.net/marWarticles/pqstl/prioiity.htm.

250. The С++ Standard Template Library, P.J. Plauger, Alexander A. Stepanov, Meng Lee, David R. Musser 512 pages Publisher: Prentice Hall PTR; 1st edition (December, 2000) ISBN: 0134376331.

251. The С++ Standard Library : A Tutorial and Reference by Nicolai M. Josuttis Hardcover: 832 pages Publisher: Addison-Wesley Professional; 1st edition (August 12,1999) ISBN: 0201379260.

252. Mark Nelson С++ Algorithms: nextpermutationO// C/C++ Users Journal. March, 2002 http://dogma.net/markn/articles/Permutations/.

253. Фостер, Дж. Обработка списков / Дж. Фостер; пер. с англ. В.В. Мартынюка; под ред. Э.З. Любимского. — М.: Мир, 1974. — 72 с.

254. Рихтер, Дж. Windows для профессионалов: создание эффективных Win32-npiuKmemm с учетом специфики 64-разрядной версии Windows / Дж. Рихтер. СПб.: Питер, 2001. - 752 с.

255. Чеппел, Д. Технологии ActiveX и OLE /Microsoft Press. Understanding ActiveX and OLE/ISBN 5-7502-0029-9,1997. 320 c.

256. Дейл Роджерсон. Основы COM. — 2-е изд. — M.: Русская редакция,2000.

257. Дональд, Бокс. Сущность технологии СОМ. — СПб.: Питер, 2001.

258. Вильяме, А. Системное программирование в Windows 2000 для профессионалов / А. Вильяме. — СПб.: Питер, 2001. — 624 с.

259. Шеффилд, Дж. Программирование на Microsoft Visual C++.NET / Дж. Шеффилд; пер. с англ.—М.: Русская редакция, 2003. — 928 с.

260. Джекобсон, P. Microsoft Office 2000: автоматизация и Интернет-возможности / Р. Джекобсон.—М.: Русская редакция, 2000. — 352 с.

261. Андерсон ,Т. Visual Basic: шаг за шагом / Т. Андерсон. — М.: Бином, 1998.-224 с.

262. Организация дистанционного обучения в условиях интеграции вузов /А.В. Кобзев и др. // Высшее образование сегодня. 2005. — № 3. - С. 24-29.

263. Материалы отчетной конференции Томского межвузовского центра дистанционного образования. По итогам работы 2003 г. Томск: Изд-во Томск, гос. ун-та систем упр. и радиоэлектроники, 2004. - 108 с.

264. Бондарь, В.А. Технология дистанционного обучения : учеб.-метод. пособие / В.А. Бондарь, А.И. Воронин, В.К. Жуков и др.. Томск: Томский межвузовский центр дистанционного образования, 2004. — 78 с.

265. Каталог учебно-методических материалов для дистанционного обучения. Томск: Изд-во Томск, гос. ун-та систем упр. и радиоэлектроники, 2002. - 45 с.

266. Исакова, О.Ю.Технология мониторинга знаний в Томском межвузовском центре дистанционного образования / О.Ю. Исакова, BJB. Кручинин, А.В. Миллер // Тр. науч.-практ. конф. «Информационные недра Кузбасса». Кемерово, 2003. - С. 180-181.

267. Анастази, JI. Психологическое тестирование. В 2 кн. / JI. Анастази. — М.: б.и., 1982.

268. Панфилов, С.А. Контроль знаний на ЭВМ : учеб. пособие / С.А. Панфилов. — Саранск: Морд, ун-т, 1989. — 76 с.

269. Кандрашина, Е.Ю. Представление знаний о времени и пространстве в интеллектуальных системах / Е.Ю. Кандрашина, JI.B. Литвинцева, ДА. Поспелов. -М.: Наука, 1989. 328 с.

270. Борисов, С.И. Система «Фея» для ОС Windows-95 / С.И. Борисов, В.В. Кручинин // Тез. докл. науч.-метод. конф. «Дистанционное образование. Состояние, проблемы, перспективы». — Томск: б.и., 1997. — С. 59-60.

271. Кручинин, В.В. Инструментальная система «Фея-3» / В.В. Кручинин, М.Ф. Молочко. -М.:ВНПЩ, 2004.-№3510.

272. Берри, Р. Язык Си: введение для программистов / Р. Берри, В. Микинэ. — М.: Финансы и статистика,1983. — 191 с.

273. Компьютерный учебник «ТМЦДО. Математика-1» / С.И. Борисов и др. // Открытое образование.—2004. — № 3. — С. 12-17.

274. Компьютерное учебное пособие «ТМЦДО. Высшая математика. Введение в анализ. Дифференциальное исчисление» / С.И. Борисов и др. // Открытое образование. — 2005. —№ 3. — С. 13-19.

275. Борисов, С.И. Семейство компьютерных учебников по математике / С.И. Борисов, В.В. Кручинин, В.А. Томиленко // Современные средства и системы автоматизации. — Томск: Изд-во Томск, гос. ун-та систем упр. и радиоэлектроники, 2004. — С. 194-197.

276. Магазинников, Л.И. Высшая математика-1. Линейная алгебра. Аналитическая геометрия. Дифференциальное исчисление. Конспект лекций / Л.И. Магазинников. Томск: Томск, гос. ун-т систем упр. и радиоэлектроники, 1998.- 191 с.

277. Кручинин, В.В. Научное управление. Основные результаты и задачи // Материалы отчетной конференции Томского межвузовского центра дистанционного образования. — Томск: Том. гос. ун-т систем управления и радиоэлектроники, 2004. — 18-22 с.

278. Автоматизация разработки компьютерных учебных программ / А.А. Мицель и др.. Томск: НТЛ, 2005. - 384 с.