Автоматизированная система распределенного контроля и анализа результатов аттестации персонала промышленных объединений тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Макаренко, Любовь Федоровна

• Макаренко, Любовь Федоровна
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Макаренко, Любовь Федоровна

1. СИСТЕМНЫЙ АНАЛИЗ МЕТОДОВ И МОДЕЛЕЙ КОМПЬЮТЕРНОГО ТЕСТОВОГО КОНТРОЛЯ В СИСТЕМЕ АТТЕСТАЦИИ ПРОМЫШЛЕННЫХ ОБЪЕДИНЕНИЙ

1.1. Проблемы кадрового обеспечения промышленных объединений

1.1.1. Программы развития кадрового обеспечения промышленных объединений I *

1.1.2. Методы и формы управления подготовкой специалистов

1.2. Анализ методик проведения аттестации и оценки уровня знаний

1.2.1. Педагогические принципы построения процедур контроля

1.2.2. Методические правила проектирования тестовых заданий

1.2.3. Формы тестовых заданий

1.2.4. Принципы построения шкал в задачах тестового контроля • 1.2.5. Формализованные модели классификации обученности

1.3. Методы и модели тестового контроля

1.4. Информационные технологии в системе аттестации

1.5. Методология формального представления механизма агрегации данных

1.5.1. Основные понятия многомерной модели данных

1.5.2. Интеграция приложений оперативной аналитической обработке и интеллектуального анализа данных

1.5.3. Рекомендуемые правила оценки OLAP-приложений

Выводы по главе

2. РАЗРАБОТКА МЕТОДОВ И МОДЕЛЕЙ ВИЗУАЛИЗАЦИИ РЕЗУЛЬТАТОВ АТТЕСТАЦИИ

2.1. Разработка методов представление результатов аттестации

2.2. Анализ результатов аттестации по возрастным группам сотрудников

2.2.1. Анализ зависимости по финансово-экономическому блоку

2.2.2. Анализ зависимости между результатами аттестации и возрастными категориями сотрудников по блокам

2.2. Моделирование системы тестового контроля

2.2.1. Моделирование системы мониторинга аттестационных показателей

2.2.2. Моделирование информационной поддержки системы аттестации

2.2.3. Шкалирование нагрузки сети системы аттестации

2.3. Разработка методики агрегирования показателей аттестации

2.4. Разработка метода классификации обучаемых с учетом априорной информации

Выводы по главе

3. РАЗРАБОТКА ПРИНЦИПОВ ДИНАМИЧЕСКОЙ КОРРЕКТИРОВКИ СЛОЖНОСТИ ТЕСТОВЬГХ ЗАДАНИЙ в СИСТЕМЕ МОНИТОРИНГА АТТЕСТАЦИОННЫХ ПОКАЗАТЕЛЕЙ

3.1. Разработка принципов организации системы аттестации

3.1.1. Концепция создания программно-моделирующего комплекса

3.1.2. Интеграция компонентов системы подготовки

3.1.3. Взаимосвязь математических методов и моделей обучения и тестового контроля

3.2. Разработка модели оценки и переоценки сложности учебных материалов

3.3. Оценка значимости сложности заданий на основе дискриминантного анализа

Выводы по главе

4. ПОДСИСТЕМА МОНИТОРИНГА РЕЗУЛЬТАТОВ ГРУППОВОГО ГЕТЕРОГЕННОГО ТЕСТОВОГО КОНТРОЛЯ

4.1. Общая структура системы мониторинга тестового контроля

4.2. Пользовательский интерфейс системы мониторинга

4.2.1. Верхняя панель общих настроек

4.2.2. Режим мониторинга результатов

4.3. Программный интерфейс фрейм-компонента

Выводы по главе

Введение диссертации (часть автореферата) на тему «Автоматизированная система распределенного контроля и анализа результатов аттестации персонала промышленных объединений»

На современном этапе развития систем управления персоналом промышленных предприятий не вызывает сомнения необходимость широкомасштабного внедрения информационных технологий в процесс аттестации персонала. Основной задачей системы аттестации персонала является оценка соответствия кадрового состава должностным обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ, что приобретает особую актуальность на промышленных объединениях, производящих сложную продукцию. Оперативный контроль качества подготовки сотрудников может быть обеспечен лишь за счет всестороннего и оперативного использования процедур компьютерного тестового контроля, а также распределенного контроля и анализа результатов аттестации. Однако в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты автоматизации формирования тестов различной степени сложности. При этом практически отсутствуют работы, учитывающие специфику процедур анализа эффективности процесса тестирования и формирования решающих правил по выборутегий подготовки и визуализации результатов аттестации для крупных территориально распределенных объединений, функционирование подразделений которого должно быть синхронизировано по определенным видам производственной деятельности.

Предметом исследования является система аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при оценке уровня подготовки сотрудников.

Цель и основные задачи исследования

Целью работы является повышение эффективности системы аттестации персонала за счет автоматизации процессов распределенного контроля и анализа результатов аттестации персонала промышленных объединений.

Для достижения данной цели в работе решаются следующие задачи:

• анализ системы подготовки и аттестации кадров промышленных объединений;

• системный анализ методов и моделей представления результатов аттестации персонала промышленных предприятий и объединений;

• разработка методов и моделей визуализации аттестационных показателей;

• разработка моделей преобразования количественных данных результатов аттестации;

• разработка методов переоценки сложности тестовых заданий;

• разработка методики и программной реализации системы мониторинга и анализа результатов аттестации и гетерогенного тестового контроля.

Научную новизну работы составляют методы и модели контроля и анализа результатов аттестации. На защиту выносятся:

• модели аналитической обработки и визуализации данных аттестации персонала;

• методика переоценки сложности тестовых заданий;

• методика распределенного сбора аттестационных показателей;

• программно-моделирующий комплекс аналитической обработки аттестационных показателей.

Диссертация состоит из четырех глав, в которых приводится решение поставленных задач.

В первой главе диссертации проводится системный анализ методов и моделей тестового контроля в системе аттестации персонала. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывной подготовки. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.

Проведен анализ современных информационных технологий в системе аттестации и рассмотрены компоненты информационно-образовательной среды, представляющие собой системно-организованную совокупность средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного и организационно-методического обеспечения, ориентированную на повышение качества проведения аттестации персонала. Проведена классификация существующих методов и моделей тестового контроля и определены границы использования каждого из них для решения задачи автоматизации процессов аттестации персонала промышленных объединений.

Во второй главе диссертации рассматриваются вопросы построения моделей визуализации аттестационных показателей вместе с проблемами их агрегирования и аналитической обработки в различных средах.

На примере результатов аттестации персонала, занятого в одном из подразделений ОАО «Газпром» по дисциплинам «Управление финансами», «Экономика», «Бухгалтерский учет и аудит», «Юридические основы финансово-экономического управления», «Организационные основы современного финансово-экономического управления» и «Информационные технологии» получены результаты сравнительного анализа по возрастных категориям.

Формы представления результатов аттестации должны содержать свертку информации как по тестируемым, так и по направлениям и сложностям тестовых заданий. Такие формы представления используют методы многомерного анализа.

В третьей главе диссертации разрабатываются модели генерации результатов аттестации с последующей переоценкой сложности тестовых заданий. Метод переоценки сложности тестовых заданий основывается на статистической обработке результатов решении каждого тестового задания в системе аттестации каждым аттестуемым.

Показано, что существующие модели не учитывают возможность объединения результатов экспертной оценки методистов, совмещенные с результатами ответов тестируемых. В связи с этим в работе предлагается новый подход к оценке сложности тестовых заданий, который базируется на теории отношений. Предлагается динамическая интерактивная процедура, которая реализует переоценку сложностей в процессе всего цикла подготовки и аттестации.

В результате анализа показано, что более точная оценка сложности задания может быть получена на основе процедуры попарных сравнений сложности. При этом каждый методист определяет граф предпочтений по сложности.

В четвертой главе диссертации рассматриваются вопросы разработки программного комплекса аналитической обработки результатов аттестации. Так, при передаче данных по сети для системы мониторинга результатов аттестации встают следующие вопросы. Во-первых, нужно ответить на вопрос «Что отправлять?». Иначе говоря, для задачи мониторинга в первую очередь необходимо решить, какую информацию необходимо переслать в центр мониторинга. Это может быть любой файл, содержащаяся информация в котором актуальна на данный момент времени. Малейшее изменение в файле должно быть фиксировано. То есть, задача сводится к постоянному отслеживанию изменений в какой-то папке (локальной либо удаленной). Как только в папке появляется новый или обновленный файл, его необходимо переслать в центр мониторинга. Во-вторых, необходимо выбрать механизм сетевого обмена, то есть каким способом осуществляется передача данных (по какому протоколу, какие программные средства будут использоваться при передаче файла в центр мониторинга). В-третьих, необходимо решить проблему, связанную с выбором инициирующей стороны. В качестве инициирующей стороны может выступать как центр мониторинга, так и подразделения, с которых и происходит сбор информации.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных объединениях, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде учебных центров.

Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Результаты внедрения и эксплуатации подтвердили работоспособность и эффективность разработанных методов.

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

• на Российских и межрегиональных научно-технических конференциях, симпозиумах и семинарах (2004-2008г.г.);

• на заседании кафедры АСУ МАДИ(ГТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации процессов управления крупными промышленными предприятиями представляет интерес в области теоретических и практических методов принятия решений по организации системы аттестации.

Материалы диссертации отражены в 6 печатных работах. Диссертационная работа состоит из введения, четырех глав и заключения, изложенных на 151 странице машинописного текста, содержит 36 рисунков, 12 таблиц, список литературы из 90 наименований и приложения.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Макаренко, Любовь Федоровна

Основные выводы и результаты работы

1. Проведен системный анализ проблем аттестации персонала промышленных объединений, определен круг методов и моделей формализованного представления компонент системы аттестации.

2. Разработана методика параметризации компонентов системы компьютерного тестового контроля и формализованная модель вероятности ответов с учетом процента правильности решения задания.

3. Разработаны методы и модели аналитической обработки и визуализации результатов аттестации персонала, включая корреляционный, дисперсионный и многомерный анализ.

4. Разработана методика формирования банка тестовых заданий с возможностью динамической корректировкой сложности заданий по статистике ответов тестируемых с учетом экспертных оценок методистов.

5. Разработана методика мониторинга результатов тестового контроля в инструментальной среде «СОТА».

6. Сформированы требования к реализации программно-моделирующего комплекса мониторинга тестового контроля и аттестации персонала.

7. Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Список литературы диссертационного исследования кандидат технических наук Макаренко, Любовь Федоровна, 2009 год

1. Аванесов B.C. Научные проблемы тестового контроля знаний. Монография. - М.: Исследовательский центр, 1994.

2. Аванесов B.C. Теоретические основы разработки заданий в тестовой форме. М.: Исследовательский центр, 1995.

3. Агафонов В.Н. Спецификация программ: понятийные средства и их организация. Новосибирск, Наука, 1987, 238 с.

4. Башмаков А.И., Башмаков И.А. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003. - 616 с.

5. Васильев В.И. Наша концепция.// Вестник высшей шкояы. 1990. №10

6. Вороновский Г. К. и др. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. -Харьков, 1997.-111 с.

7. Выготский Л.С. Избранные психологические исследования. М., МГУ, 1956.

8. Гершунский Б.С Философия образования. М.: Флинта, 1998,

9. Государственный образовательный стандарт Российской Федерации. Высшее профессиональное образование. Общие требования. М., ГКВОРФ, 1993 -9с.

10. Готлиб М.А. Компьютеру дидактическое обеспечение. // Информатика и образование - М., Педагогика, N 4, с.3-14.

11. Готлиб М.А. Структура АОС. //Информатика и образование -М-, Педагогика, N 3, 1987, с.11-20.

12. Желтое С., Лихачев Н., Степанов В. Виртуальная реальность новая информационная технология // Экология непознанного. - 1995. - № 1.- С.6-11.

13. Жуковская З.Д. Методологические основы разработки и функционирования комплексной системы контроля качества подготовки специалистов в вузе. Диссертация на соискание ученой степени доктора педагогических наук.-С.П.: ЛГУ, 1994.

14. Зимняя И.А. Проблемы самооценивания как интериоризированной внешней оценки в процессе обучения. "Квалиметрия человека и образования. Методология и практика. 2-й симпозиум, кн.1, ч.1. М.: Исследовательский центр, 1993.

15. Казанович В.Г. Образовательная система как объект оценивания. Диссертация на соискание научной степени кандидата педагогических наук. -М.: Исследовательский центр, 1995.

16. Катыс Г.П., Катыс П.Г. Трехмерное отображение визуальной информации в виртуальном пространстве: Учебное пособие / МИРЭА. М., 1998.-78 с.

17. Кашицин В.П. и др. Состояние и развитие дистанционного образования в мире: Научно-аналитический доклад. М.: Изд-во «Магистр», 1997.-С. 44.

18. Коломиец Б.К. Инвариантные функции интеллектуальной деятельности. Техническое творчество: теория, методология, практика, энциклопедический словарь справочник./Под ред. А.И.Половинкина, В.В.Попова/. М.: НПО "Информсистема", 1994.

19. Коломиец Б.К. Комплексная оценка выпускников высших учебных заведений. Отчет по НИР за 1996 г. -М.: Исследовательский центр проблем качества подготовки специалистов. 1997, 136 с.

20. Коломиец Б.К. Образовательные стандарты и программы: инвариантные аспекты М.: Исследовательский центр проблем качества подготовки специалистов. 1999 - с. 144.

21. Лавров С.С. Представление и использование знаний в автоматизированных системах. //МП. 1986, N 3, с. 14-19.

22. Литвак Б.Г. Экспертная оценка и принятие решений. М.: Патент, 1996-271 с.

23. Литвинцева Л.В., Налитое С.Д. Графические средства для построения систем когнитивной графики и виртуальных миров // Программные продукты и системы. -1995. № 2.

24. Новое качество высшего образования в современной России. Труды Исследовательского центра. Род научной редакцией Селезневой Н.А. и Субетто А.И. М.: Исследовательский центр проблем качества подготовки специалистов. 1995. - 199 с.

25. Петин Б.Ф. Предложения по совершенствованию ГОСов по направлениям подготовки и специальностям. -М: Исследовательский центр проблем качества подготовки специалистов, 1996.

26. Подгорецкая Н.А. Изучение приемов логического мышления у взрослых. М., Педагогика, 1980.

27. Положение об итоговой государственной аттестации выпускников высших учебных заведений в Российской Федерации. М.Госкомвуз РФ, 25.05.94.

28. Положение об итоговой государственной аттестации студентов высших учебных заведений в РСФСР. Проект. М.: Научно - методический центр по подготовке, переподготовке и повышению квалификации специалистов. 1994.

29. Проходов А В., Рузин В.С О глубинной концепции образования.// Вестник высшей школы. 1990 № 5.

30. Растригин JI. С. Адаптивное обучение с моделью обучаемого. Рига: Знание, 1988.

31. Реформа и развитие высшего образования. Программный документ. ЮНЕСКО, 1995.

32. Роберте Ф.С. Дискретные математические модели с приложениями к социальным, биологическим и экологическим задачам. М., Наука, 1986.

33. Родионов Б.У.,Татур А.О. Стандарты и тесты в образовании.- М.: Исследовательский центр, 1995. 48с.

34. Сборник методических рекомендаций по разработке содержания обучения и дидактических систем. /Под ред. А.А.Золотарева М., МИИГА, 1988, 270 с.

35. Селезнева Н.А. Проблемы оценки качества образования в России: состояние и перспективные пути решения. Труды Исследовательского центра. Серия: Научные доклады. М. Исследовательский центр проблем качества подготовки специалистов 1994.

36. Селезнева Н.А., Коломиец Б.К. Проблемы итоговой государственной аттестации выпускников вузов, сб."Современные формы и методы контроля знаний студентов на различных этапах обучения и при аккредитации вузов" М.: Исследовательский центр. 1995.

37. Соколов В.М. Основы проектирования образовательных стандартов (методология, теория, практический опыт). М.: Исследовательский центр, 1996. - 86с.

38. Степанов А.А; Бахтина Т.Е., Свердлова Т.А., Желтое С.Ю. Обзор технических и программных средств систем виртуальной реальности // В сб.: "Технология виртуальной реальности". М., 1996. - С. 15-56.

39. Столл P.P. Множества. Логика. Аксиоматические теории. М., Наука, 1988.

40. Субетто А.И. Системология образовательных систем. -М.: Исслед. центр проблем качества подготовки специалистов, 1995.

41. Технология виртуальной реальности: состояние и тенденции развития // Новости искусственного интеллекта. 1995. -№3.-С. 118-122.

42. Технология системного моделирования. /Под ред. С.В.Емельянова -М., Машиностроение; Берлин, Техник, 1988.

43. Титов А.В. Алгоритм агрегирования с использованием смешанной стратегии. Исследовательский центр. 1995.

44. Титтел Эд., Сандерс К., Скотт Ч., Вольф П. Создание VRML миров / Пер. с англ. Киев: Изд-во "Группа BHV", 1997. - 320 с.

45. Тихомиров В.П., Солдаткин В.И., Лобачев С.Л., Ковальчук О.Г. Дистанционное обучение: к виртуальным средам знаний. — Дистанционное образование . №2. 1999. - С.8-16.

46. Управление современным образованием: социальные и экономические аспекты / Под ред. А.Н.Тихонова. М., 1998.- С. 256.

47. У сков В. Л., У скова М. Информационные технологии в образовании //Информационные технологии. 1999. -№1.-С. 31-37.

48. Фонды комплексных квалификационных заданий по специальностям высшего образования.: Методические разработки ( разработчики : Селезнева Н.А.,Беспалько В.П.,Соколов В.М. и др.) М. Гособразование СССР 1998 г. 89 с.

49. Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч. пособие. М.: Исслед. центр проблем качества подготовки специалистов, 1995. 32 с.

50. Мельникова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. М.: Логос, 2002. - 432 е.: ил.

51. Begault D. 3D Sound for Virtual Reality and Multimedia // Academic Press. 1994.

52. Bimbaum A. Some Latent Trait Models and Their Use in Statistical Theories of Mental Test Scores. Reading, Mass. : Addison Wesly, 1968.

53. Candell Thomas P. The Application of Neural Networks to Virtual Reality // 1CNN Tutorial. 1994. № 13. WCCI (Orlando F.L.).

54. Casas L.A.A. et al. Virtual reality full immersion techniques for enhancing workers performance // Proc. Intern. Conf. On Integrated and Sustainable Industrial Production. (Lisbon, Portugal). 1997. P. 399-411.

55. Elane El-Khawas. External Scrutiny, US Style: multiple actors, overlapping roles. Governments and professional education / Edited by Tony Becher. UK. Published by SRHE and Open University Press. Bristol: HEFCE, 1993.

56. Enseignement a distance: realites, enjeux et perspectives: Rapport presente par 7-C1. Barbarante: Conseil economique et social. P., 1997.

57. Gibson W.A., Latent Structure and Positive Manifold, «British Journal of Statistical Psychology», 15, 1962, 149—160.

58. Gibson W.A. Nonlinear Factors in Two Dimensions, «Psychometrika», 25, 1960, 381—392.

59. Green B.F., A General Solution for the Latent Class Model of Latent Structure Analysis, «Psychometrika», 16, 1951, 151— 166.

60. Jnternatronal Standard Classification of Education (JSCD), revised version 2. UNESCO, 1996.

61. Joraskog K-S. A General Programm for Analysis of Coveriance Structures .Including Generalized MANONA, Edication Testing Service, Princeton, N.S., 1971.

62. Kenneth Nemire. Evaluting an immersive virtual environment prototyping and simulation // SPIE. 1997. Vol. 3012. P. 408-416.

63. Lazarsfeld P.F. Latent Structure Analysis, в: S. Koch (ed), «Psychology: A Study of a Science», New York, McGraw-Hill, 1959.

64. Leary D.E. Artificial intelligence and virtual organizations // Commum ACM (USA). 1997. Vol. 40. № 1. P. 52-59.

65. Libermcm Henry. Intelligent graphics // Commun. ACM. 1996. Vol. 39. № 8. P. 38-48.

66. Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N J. Lawrence Eribaum Ass., Publ. 1980.

67. Lord F.M., Novick M. Statistical Theories of Mental Test Scores. Addison-Wesley Publ. Co. Reading, Mass., 1968.

68. Macedonia M.R. A transatlantic research and development environment (3D virtual graphics) // IEEE Comput. Graph. Appl. 1997. Vol. 17. № 2. P. 76-82.

69. Menousek В., Wolfe T. Virtual reality the modular way // Comput. Graph. (USA). Aug. 1997. Vol. 31. № 3. P. 66-68.

70. Mood A.M. Macro-Analysis of American Edution System, Operation Res, 17,770-780, 1969.

71. Padgett Mary Lou et al. Virtual Reality systems: from training simulators to . intelligent VR // Proc. SPffi. 1996. Vol. 2878. P. 409-450.

72. Pelletier F. The virtual and real environments: symbiosis // Proc. Internal Conf. On Virtual Systems and Multimedia. 1997. P. 246-247.

73. Pourzand A.R. and Callings N. Progress in the construction of multilayer optical neural network // Proc. SPffi. 1998. Vol. 3940. p. 439-442.

74. Rasch, G. Probabilistic Models for Some Intelligence and Afteword by B.D.Wright. The Univ. of Chicago Press. Chicago & London, 1980.

75. Simmonds B. Enhancing reality to make the ideal instruments // Control and lustrum. 1995. Vol. 27. № 12. P. 29, 30.

76. The European conventions on higher education. Council of Europe. -Strasbourg: Council of Europe Press, 1995.

77. Udo Jakob, Efi Douloumi. Let's move on the integration of motion Rendering in VR // SPffi. 1997. Vol. 3012. P. 454-460.

78. Umeki V., Doi M. Sensation of movement in virtual space // Electron. Commun. Jpn. Fundam. Electron. Sc. (USA). June, 1997. Vol. 80. № 6. P. 74-82.

79. Vacca J.R. VRML: bringing virtual reality to the internet: CD-ROM included. Boston, 1996. - 552 p.

80. Watars R.C; Barrus J.W. The rise of shared virtual environments // IEEE Spectr. (USA). March. 1997. Vol. 34. № 3. P. 20-25.

81. Watson B. Evaluation of the effects of frame variation on VR tosk performance // Proc. ШЕЕ. 1997. Virtual Reality Annual Internal Symposium. P. 38-44.

82. Wherry R.J., Gaylord R.H., Factor Pattern of Test Items and Tests as a Function of the Correlation Coefficient: Content, Difficulty, and Constant Error Factors, «Psychometrika», 9, 1944, 237-244.

83. Ying-Ying Fang et al. A pseudo-immersive virtual environm for research // Int. J. Virtual Real. (USA) 1996. Vol. 2. № 3. P. 8-14.