Программно-инструментальные средства автоматизации разработки тестовых заданий в системе переподготовки персонала промышленных предприятий тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Пеньков, Владимир Михайлович

• Пеньков, Владимир Михайлович
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Пеньков, Владимир Михайлович

ВВЕДЕНИЕ.

1. АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ КОМПЬГЕРНОГО ТЕСТОВОГО КОНТРОЛЯ.

1.1. Основные принципы компьютерного тестового кон гроля.

1.1.1. Методические правила проектирования тестовых заданий.

1.1.2. Формы тестовых заданий.

1.2. Проблемы кадрового обеспечения промышленных предприятий.

1.3. Педагогические принципы контроля и диагностики.

1.3.1. Функции и методы контроля.

1.3.2. Классификация педагогических тестов.

1.4. Математическое моделирование процедур тестового контроля.

1.5. Программные технологии формирования тестовых заданий.

Выводы по главе 1.

2. РАЗРАБОТКА МЕТОДОВ ДИФФЕРЕНЦИРОВАНИЯ ОЦЕНКИ СЛОЖНОСТИ ТЕСТОВЫХ ЗАДАНИЙ.

2.1. Измерение сложности учебной информации.

2.2. Разработка энтропийной модели оценки сложности учебной информации.

2.3. Семантический граф тестового задания.

2.4. Модель оценки объема учебной информации с учетом ее сложности.

2.5. Обобщенная форма записи модели и коэффициент сложности информации, представленной в виде дерева.

2.6. Модель дифференцированной оценки сложности тестового задания.

Выводы по главе 2.

3. РАЗРАБОТКА ИНСТРУМЕНТАЛЬНОЙ СРЕДЫ КОНСТРУИРОВАНИЯ ТЕСТОВЫХ ЗАДАНИЙ.

3.1. Формализованные модели описания интерактива пользователя при решении тестового задания.

3.2. Алгебра регулярных сетей.

3.3. Методики построения шкалы оценки уровня знаний.

3.3.1. Принципы построения шкал в задачах тестового контроля.

3.3.2. Формализованные модели классификации обученности.

3.3.3. Унифицированная дидактическая классификация.

3.4. Компоненты инструментальной среды конструирования тестовых заданий.

Выводы по главе 3.

4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ КОНСТРУКТОРА ТЕСТОВЫХ ЗАДАНИЙ.

4.1. Функционал конструктора тестовых заданий.

4.2. Методика формирования сцены теста.

4.3. Применение скриптов в качестве обработчика событий.

Выводы по главе 3.

Введение диссертации (часть автореферата) на тему «Программно-инструментальные средства автоматизации разработки тестовых заданий в системе переподготовки персонала промышленных предприятий»

Одной из основных проблем переподготовки персонала промышленных предприятий в настоящее является разработка эффективных технологий создания электронных образовательных ресурсов, включая методически обоснованную систему тестов.

Повышение эффективности компьютерного тестового контроля может быть достигнуто на основании повышения качества конструирования учебных тестовых заданий (УТЗ), использующих разнообразные интерактивные режимы действий пользователей, что особенно важно для рабочих специальностей где необходима визуализация агрегатов и устройств управления технологическими процессами, обеспечивающими производственный цикл.

Мастер производственного обучения или преподаватель системы повышения квалификации и переподготовки персонала промышленных предприятий должны иметь возможность реализовать свой творческий потенциал в процессе создания авторских курсов. В связи с этим в последнее время интенсивно ведутся работы по автоматизации формирования тестов, не только статических, но и адаптивных. Имеется ряд разработок направленных на создание инструментальных средств конструирования УТЗ, но они, в основном, ограничиваются классическими формами заданий открытого типа, закрытого, на соответствие и др.

Однако, в данном направлении отсутствуют работы по созданию программно-инструментальных средств и методик конструирования интерактивных УТЗ, объединяющих все типы и формы представления, включая перемещение графических образов, имитирующих работу устройств. Этим и обосновывается актуальность настоящего диссертационного исследования, поскольку имеет место приближение самого УТЗ к реальной технологической операции. Там, где требуется оперативное принятие решений, тем более во внештатных ситуациях, такие

УТЗ дают возможность отрабатывать практические навыки управления технологическим процессом.

Предметом исследования являются информационные технологии, направленные на создание интерактивных тестовых заданий, включаемых в базу данных тестов различных направлений в системе аттестации персонала промышленных предприятий.

Целью работы является повышение эффективности функционирования системы переподготовки персонала за счет разработки методов, моделей, алгоритмов и программно-инструментальных средств конструирования интерактивных УТЗ.

Для достижения данной цели в работе решаются следующие задачи:

• системный анализ методов организации тестового контроля в системе переподготовки персонала промышленных предприятий;

• разработка принципов дифференцированной оценки корректности решения УТЗ;

• разработка моделей описания процессов конструирования УТЗ комбинированных форм;

• разработка моделей оценки вероятности правильного ответа на УТЗ с учетом доли правильности ответа;

• разработка программно-инструментальной среды конструирования интерактивных УТЗ.

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем, теория автоматов, классический теоретико-множественный аппарат и другие.

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов, методик и алгоритмов.

В первой главе диссертации проводится системный анализ педагогических принципов создания тестовых заданий. Рассмотрены проблемы кадрового обеспечения предприятий промышленности и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов компьютерного тестового контроля. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов.

В диссертации с системотехнических позиций рассмотрены во взаимосвязи задачи выбора и формирования последовательности предъявления тестовых заданий и задачи мониторинга результатов прохождения тестов.

Данная работа направлена на реализацию инструментальных средств конструирования одного тестового задания, которое затем включается в интегрированную базу данных тестовых задании по всем направлениям переподготовки. Кроме того, исследованы вопросы оценки вероятности правильного ответа на различные УТЗ в зависимости от ограничения по времени ответа, усталости, истинного уровня знаний, сложности самого задания и др.

Во второй главе диссертации разрабатываются формализованные методы конструирования тестовых заданий. На основе автоматной схемы разбора строится модель описания интерактивного поведения тестируемого при формировании ответа на тестовое задание.

Классические схемы зачастую не описывают всех возможных формулировок задания. Кроме того, например, в закрытой форме и малом количестве альтернатив (часто их всего три) имеет место простое угадывание правильного ответа. При этом в качестве вероятностной модели ответа на задание предлагается использовать расширение модели Бирнбаума.

Такой подход к оценке результатов ответа на УТЗ предлагается использовать и для расширения модели адаптивного тестового контроля, где сложность следующего задания выбирается на основании решения предыдущего. Так, неточный ответ на УТЗ определенной сложности можно рассматривать как решение УТЗ пониженной сложности.

В третьей главе на основании построенных моделей формируются принципы конструирования УТЗ в программно-инструментальной среде.

Для такого вида тестовых форм в работе предлагается технология формирования ответов в виде перетаскивания альтернатив, что является максимально адаптированным вариантом для переподготавливаемого контингента.

Первичным при формировании теста, является конструирование тестового задания. В работе предлагается формализованное описание методики конструирования тестовых заданий с использованием разработанного конструктора тестовых заданий, который имеет следующие функциональные компоненты:

• графический редактор формирования структуры задания;

• формирование схемы разбора ответа;

• параметризация выполнения задания; подсистема генерации тестового задания (JAVA).

В четвертой главе диссертации приведено описание программно-инструментальной среды конструирования тестовых заданий. Форма конструктора представляет приложение вида «выбери-и-размести» (drag-and-drop). Разработчику дается возможность путем перетаскивания разместить компоненты теста из палитры компонентов на сцене. Таким образом, достигается наглядность представления теста еще на этапе его проектирования.

Для реализации конструктора УТЗ используется Java, так как она независима от платформы и способа выполнения программ. Другими словами, тестовые задания можно выполнять как в обычной программе, так и на интернет странице, где тест представлен в виде Java-апплета. Java является объектно-ориентированным языком со строгой типизацией, что позволяет точно описывать объекты и модули системы. Исходный код объектов компилируется в платформонезависимый байт-код, который выполняется в виртуальной машине, это обеспечивает высокую скорость работы, автоматические функции по сбору памяти, отказоустойчивость и предоставляет доступ к функциям операционной системы. Для платформы Java реализовано множество библиотек для различных операции.

В заключении представлены основные результаты работы.

В приложении приводятся акты внедрения результатов диссертационной работы.

Научную новизну работы составляют методы конструирования тестовых заданий, ориентированных на использование в системе переподготовки персонала промышленных предприятии, и модели дифференцированной оценки сложности. На защиту выносятся:

• принципы дифференцированной оценки корректности решения УТЗ для персонала промышленного предприятия;

• обобщенные модели описания процессов конструирования и выполнения УТЗ;

• описания интерактивного поведения пользователя на основе конечных автоматов как преобразователей и акцепторов;

• программно-инструментальная среда конструирования интерактивных

УТЗ.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным анализом процессов аттестации персонала на промышленных предприятиях, процессов обучения и тестирования в ряде образовательных учреждений, . Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде учебных центрах промышленных предприятий.

Внедрение результатов работы позволит повысить качество и эффективность конструирования интерактивных тестовых задании системе аттестации персонала промышленных предприятий. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений.

Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде промышленных предприятий, а также используются в учебном процессе МАДИ(ГТУ).

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2005-2009г.г.);

• на заседании кафедры АСУ МАДИ(ГТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации процесса аттестации составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе подготовки и аттестации персонала промышленных предприятий.

По результатам выполненных исследований опубликовано 7 печатных работ.

Диссертационная работа состоит из введения, четырех глав и заключения, опубликованных на 150 страницах машинописного текста, содержит 47 рисунков, 19 таблиц, список литературы из 105 наименований и приложения.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Пеньков, Владимир Михайлович

Основные выводы и результаты работы

1. Проведен системный анализ задач организации процедур тестового контроля и аттестации персонала промышленных предприятий, определен круг методов и моделей формализованного представления компонент системы тестового контроля и конструирования тестовых заданий.

2. Разработаны принципы дифференцированной оценки правильности решения тестового задания, что дает возможность более точной оценки уровня знаний.

3. В раках единого формализованного представления разработаны модели описания процессов конструирования стандартных форм тестовых заданий, а также их расширенных комбинированных форм.

4. С использованием теории конечных автоматов и формальных грамматик построена формализованная модель процедуры конструирования тестового задания.

5. Разработаны механизмы конструирования тестовых заданий и требования к инструментальной среды формирования графических образов УТЗ с возможностью реализации интерактивных режимов их выполнения.

6. Разработана программно-инструментальная среда конструирования интерактивных УТЗ, объединяющая возможности граяического редактора и автоматной схемы разбора результатов выполнения задания.

7. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения на ряде промышленных предприятий, а также используются в учебном процессе МАДИ(ГТУ).

Список литературы диссертационного исследования кандидат технических наук Пеньков, Владимир Михайлович, 2009 год

1. Аванесов B.C. Научные проблемы тестового контроля знаний. Монография. - М.: Исследовательский центр, 1994.

2. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. М.: Исследовательский центр, 1995.

3. Агафонов В.Н. Спецификация программ: понятийные средства и их организация. Новосибирск, Наука, 1987, 238 с.

4. Акчурин P.M. Задача автоматизации программирования имитационно диалоговых систем // Программирование. - 1982. - №3.

5. Афифи А. , Эйзен С. Статический анализ: Подход с использованием ЭВМ. Пер. с англ. -М.: Изд-во "Мир", 1982. 488 с.Васильев В.И. Наша концепция.// Вестник высшей шкояы. 1990. № 10

6. Байзель М.М., Тарасенко Г.С Исследование адаптивного алгоритма оптимизации в обстановке помех // Проблемы случайного поиска (Рига). -1981.-Вып. 9.-С. 106-124

7. Баранов В.В. Рекурентные методы оптимальных решений в стохастических системах. Харьков:- Вища школа, 1981. - 145 с

8. Брежинина И. А., Галицкая Б.И., Марек И.А. Технология имитационного моделирования с использованием диалога в процессе построения моделей // Теория сложных систем и методы их моделирования: Труды семинара ВНИИСИ. М., 1984. С. 38-42.

9. Брезгуйова Я.М. Риде К.К Структура диалога в процессе синтеза оптимального плана эксперимента // Проблемы случайного поиска (Рига). 1981. Вып. 9. С. 263-384.

10. Ю.Бусленко В.И. Автоматизация имитационного моделирования сложных систем. М.; Наука, 1977. 239 с11 .Вороновский Г. К. и др. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. -Харьков, 1997.-111 с.

11. Выготский JI.C. Избранные психологические исследования. М., МГУ, 1956.

12. Гершунский Б.С Философия образования. М.: Флинта, 1998,

13. Гордон Д. Вычислительные аспекты имитационного моделирования // Исследование операций методологические основы и математические методы. - М.; Мир, 1981. - С. 655-679.

14. Государственный образовательный стандарт Российской Федерации. Высшее профессиональное образование. Общие требования. М., ГКВО РФ, 1993 -9с.

15. Готлиб М.А. Компьютеру дидактическое обеспечение. // Информатика и образование - М., Педагогика, N 4, с.3-14.

16. Готлиб М.А. Структура АОС. //Информатика и образование -М-, Педагогика, N 3, 1987, с. 11-20.

17. Желтое С., Лихачев П., Степанов В. Виртуальная реальность новая информационная технология // Экология непознанного. - 1995. - № 1.- С.6-11.

18. Жуковская З.Д. Методологические основы разработки и функционирования комплексной системы контроля качества подготовки специалистов в вузе. Диссертация на соискание ученой степени доктора педагогических наук.-С.П.: ЛГУ, 1994.

19. Зимняя И.А. Проблемы самооценивания как интериоризированной внешней оценки в процессе обучения. "Квалиметрия человека и образования. Методология и практика. 2-й симпозиум, кн.1, 4.1. М.: Исследовательский центр, 1993.

20. Казановнч В.Г. Образовательная система как объект оценивания. Диссертация на соискание научной степени кандидата педагогических наук. -М.: Исследовательский центр, 1995.

21. Калашников В.В. Организация моделирования сложных систем. -М.: Знание, 1982. 103 с

22. Катыс Г.П., Катыс П.Г. Трехмерное отображение визуальной информации в виртуальном пространстве: Учебное пособие / МИРЭА. М., 1998. - 78 с.

23. Кашицин В.П. и др. Состояние и развитие дистанционного образования в мире: Научно-аналитический доклад. М.: Изд-во «Магистр», 1997. - С. 44.

24. Клейнен Д. Статистические методы в имитационном моделировании. М.; Статистика, 1978. Вып.1 221с, Вып. 2- 335с.

25. Коломиец Б.К. Инвариантные функции интеллектуальной деятельности. Техническое творчество: теория, методология, практика, энциклопедический словарь справочник./Под ред. А.И.Половинкина, В.В.Попова/. М.: НПО "Информсистема", 1994.

26. Коломиец Б.К. Комплексная оценка выпускников высших учебных заведений. Отчет по НИР за 1996 г. -М.: Исследовательский центр проблем качества подготовки специалистов. 1997, 136 с.

27. Коломиец Б.К. Образовательные стандарты и программы: инвариантные аспекты М.: Исследовательский центр проблем качества подготовки специалистов. 1999 - с. 144.

28. Лавров С.С. Представление и использование знаний в автоматизированных системах. //МП. 1986, N 3, с. 14-19.

29. Литвак Б.Г. Экспертная оценка и принятие решений. М.: Патент, 1996-271 с.

30. ЛитвинцеваЛ. В., Налитое С.Д. Графические средства для построения систем когнитивной графики и виртуальных миров // Программные продукты и системы. -1995. -№ 2.

31. Математическая теория планирования эксперимента Под ред. С.М. Ермакова. М.: Наука, 1983. - 392 с

32. Новое качество высшего образования в современной России. Труды Исследовательского центра. Род научной редакцией Селезневой Н.А. и Субетто А.И. М.: Исследовательский центр проблем качества подготовки специалистов. 1995. - 199 с.

33. Петин Б.Ф. Предложения по совершенствованию ГОСов по направлениям подготовки и специальностям. -М: Исследовательский центр проблем качества подготовки специалистов, 1996.

34. Подгорецкая Н.А. Изучение приемов логического мышления у взрослых. М., Педагогика, 1980.

35. Положение об итоговой государственной аттестации выпускников высших учебных заведений в Российской Федерации. М.Госкомвуз РФ, 25.05.94.

36. Положение об итоговой государственной аттестации студентов высших учебных заведений в РСФСР. Проект. М.: Научно - методический центр по подготовке, переподготовке и повышению квалификации специалистов. 1994.

37. Проходов А В., Рузин В.С О глубинной концепции образования.// Вестник высшей школы. 1990 № 5.

38. Растригин JI. С. Адаптивное обучение с моделью обучаемого. Рига: Знание, 1988.

39. Реформа и развитие высшего образования. Программный документ. ЮНЕСКО, 1995.

40. Рипа К.К. Алгоритм синтеза оптимальных планов эксперимента // Проблемы случайного поиска (Рига). -1981. Вып. 9. С. 250-262.

41. Роберте Ф.С. Дискретные математические модели с приложениями к социальным, биологическим и экологическим задачам. М., Наука, 1986.

42. Родионов Б.У.,Татур А.О. Стандарты и тесты в образовании.- М.: Исследовательский центр, 1995. 48с.

43. Саркисова И.О. Место разработки информационных систем для Internet/Intranet сетей в курсе "Информатика и вычислительная техника". Электронный учебно-научно-производственный журнал "Автоматизация и управление в машиностроении", №14, 2000.

44. Сборник методических рекомендаций по разработке содержания обучения и дидактических систем. /Под ред. А.А.Золотарева М., МИИГА, 1988, 270 с.

45. Селезнева Н.А. Проблемы оценки качества образования в России: состояние и перспективные пути решения. Труды Исследовательского центра. Серия: Научные доклады. М. Исследовательский центр проблем качества подготовки специалистов 1994.

46. Селезнева Н.А., Коломиец Б.К. Проблемы итоговой государственной аттестации выпускников вузов, сб."Современные формы и методы контроля знаний студентов на различных этапах обучения и при аккредитации вузов" -М.: Исследовательский центр. 1995.

47. Соколов В.М. Основы проектирования образовательных стандартов (методология, теория, практический опыт). М.: Исследовательский центр, 1996. - 86с.

48. Срагович В.Г. Адаптивное управление. Наука» 1981. 384 с.

49. Степанов А.А; Бахтина Т.Е., Свердлова Т.А., Желтое С.Ю. Обзор технических и программных средств систем виртуальной реальности // В сб.: "Технология виртуальной реальности". М., 1996. - С. 15-56.

50. Столл P.P. Множества. Логика. Аксиоматические теории. М., Наука, 1988.

51. Субетто А.И. Системология образовательных систем. -М.: Исслед. центр проблем качества подготовки специалистов, 1995.

52. Технология виртуальной реальности: состояние и тенденции развития // Новости искусственного интеллекта. 1995. -ЖЗ.-С. 118-122.

53. Технология системного моделирования. /Под ред. С.В.Емельянова -М., Машиностроение; Берлин, Техник, 1988.

54. Титов А.В. Алгоритм агрегирования с использованием смешанной стратегии. Исследовательский центр. 1995.

55. Титтел Эд., Сандерс К., Скотт Ч., Вольф П. Создание VRML миров / Пер. с англ. Киев: Изд-во "Группа BHV", 1997. - 320 с.

56. Тихомиров В.П., Солдаткин В.И., Лобачев С.Л., Ковальчук О.Г. Дистанционное обучение: к виртуальным средам знаний. Дистанционное образование . №2.- 1999.-0.8-16.

57. Тихонов В.И., Миронов М.А. Марковские процессы. М.: Сов. Радио. 1977.-488 с.

58. Управление современным образованием: социальные и экономические аспекты / Под ред. А.Н.Тихонова. М., 1998.- С. 256.

59. Усков В.Д., Ускова М. Информационные технологии в образовании // Информационные технологии. 1999. -№1.-С. 31-37.

60. Феллер В, Введение в теорию вероятностей и ее приложения. : Мир, 1984. 528 с.

61. Фонды комплексных квалификационных заданий по специальностям высшего образования.: Методические разработки ( разработчики : Селезнева Н.А.,Беспалько В.П.,Соколов В.М. и др.) М. Гособразование СССР 1998 г. 89 с.

62. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч. пособие. М.: Исслед. центр проблем качества подготовки специалистов, 1995. 32 с

63. Шеннон Р. Имитационное моделирование систем искусство и наука. М.: Мир, 1978.-418 с.

64. Begault D. 3D Sound for Virtual Reality and Multimedia // Academic Press. 1994.

65. Birnbaum A. Some Latent Trait Models and Their Use in Statistical Theories of Mental Test Scores. Reading, Mass. : Addison Wesly, 1968.

66. Candell Thomas P. The Application of Neural Networks to Virtual Reality // 1CNN Tutorial. 1994. № 13. WCCI (Orlando F.L.).

67. Casas L.A.A. et al. Virtual reality full immersion techniques for enhancing workers performance // Proc. Intern. Conf. On Integrated and Sustainable Industrial Production. (Lisbon, Portugal). 1997. P. 399-411.

68. Elane El-Khawas. External Scrutiny, US Style: multiple actors, overlapping roles. Governments and professional education / Edited by Tony Becher. UK. Published by SRHE and Open University Press. Bristol: HEFCE, 1993.

69. Enseignement a distance: realites, enjeux et perspectives: Rapport presente par 7-C1. Barbarante: Conseil economique et social. P., 1997.

70. Gibson W.A., Latent Structure and Positive Manifold, «British Journal of Statistical Psychology», 15, 1962, 149—160.

71. Gibson W.A. Nonlinear Factors in Two Dimensions, «Psychometrika», 25, 1960,381—392.

72. Green B.F., A General Solution for the Latent Class Model of Latent Structure Analysis, «Psychometrika», 16, 1951, 151— 166.

73. Jntematronal Standard Classification of Education (JSCD), revised version 2. UNESCO, 1996.

74. Joraskog K-S. A General Programm for Analysis of Coveriance Structures .Including Generalized MANONA, Edication Testing Service, Princeton, N.S., 1971.

75. Kenneth Nemire. Evaluting an immersive virtual environment prototyping and simulation // SPIE. 1997. Vol. 3012. P. 408-416.

76. Lazarsfeld P.F. Latent Structure Analysis, в: S. Koch (ed), «Psychology: A Study of a Science», New York, McGraw-Hill, 1959.

77. Leary D.E. Artificial intelligence and virtual organizations // Commum ACM (USA). 1997. Vol. 40. № 1. P. 52-59.

78. Libermcm Henry. Intelligent graphics // Commun. ACM. 1996. Vol. 39. № 8. P. 38-48.

79. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N J. Lawrence Eribaum Ass., Publ. 1980.

80. Lord F.M., Novick M. Statistical Theories of Mental Test Scores. Addison-Wesley Publ. Co. Reading, Mass., 1968.

81. Macedonia M.R. A transatlantic research and development environment (3D virtual graphics) // IEEE Comput. Graph. Appl. 1997. Vol. 17. № 2. P. 76-82.

82. Menousek В., Wolfe T. Virtual reality the modular way // Comput. Graph. (USA). Aug. 1997. Vol. 31. № 3. P. 66-68.

83. Mood A.M. Macro-Analysis of American Edution System, Operation Res, 17,770-780, 1969.

84. Padgett Mary Lou et al. Virtual Reality systems: from training simulators to . intelligent VR// Proc. SPffi. 1996. Vol. 2878. P. 409-450.

85. Pelletier F. The virtual and real environments: symbiosis // Proc. Internal Conf. On Virtual Systems and Multimedia. 1997. P. 246-247.

86. Pourzand A.R. and Callings N. Progress in the construction of multilayer optical neural network // Proc. SPffi. 1998. Vol. 3940. p. 439-442.

87. Rasch, G. Probabilistic Models for Some Intelligence and Afteword by B.D.Wright. The Univ. of Chicago Press. Chicago & London, 1980.

88. Simmonds B. Enhancing reality to make the ideal instruments // Control and lustrum. 1995. Vol. 27. № 12. P. 29, 30.

89. The European conventions on higher education. Council of Europe. -Strasbourg: Council of Europe Press, 1995.

90. Udo Jakob, Efi Douloumi. Let's move on the integration of motion Rendering in VR// SPffi. 1997. Vol. 3012. P. 454-460.

91. Umeki V., Doi M. Sensation of movement in virtual space // Electron. Commun. Jpn. Fundam. Electron. Sc. (USA). June, 1997. Vol. 80. № 6. P. 74-82.

92. Vacca J.R. VRML: bringing virtual reality to the internet: CD-ROM included. Boston, 1996. - 552 p.

93. Watars R.C; Barrus J.W. The rise of shared virtual environments // IEEE Spectr. (USA). March. 1997. Vol. 34. № 3. P. 20-25.

94. Watson B. Evaluation of the effects of frame variation on VR tosk performance // Proc. ШЕЕ. 1997. Virtual Reality Annual Internal Symposium. P. 38-44.

95. Wherry R.J., Gaylord R.H., Factor Pattern of Test Items and Tests as a Function of the Correlation Coefficient: Content, Difficulty, and Constant Error Factors, «Psychometrika», 9, 1944, 237-244.

96. Ying-Ying Fang et al. A pseudo-immersive virtual environment a shell for research // Int. J. Virtual Real. (USA) 1996. Vol. 2. № 3. p. 8-14.