Система компьютерного тестирования знаний тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Вергазов, Ринат Ильдусович

• Вергазов, Ринат Ильдусович
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Вергазов, Ринат Ильдусович

Введение.

1. Обзор и анализ средств контроля знаний.

1.1. Виды и функции контроля знаний.

1.2. Тестирование как форма контроля знаний.

1.3. Теоретические основы тестирования.

1.4. Критерии оценки компьютерных систем тестирования.

1.5. Обзор компьютерных систем тестирования.

Выводы.

2. Модели и алгоритмы проведения тестирования.

2.1 Модели в тестировании.

2.2 Алгоритмы проведения тестирования.

2.3 Применение алгоритмов тестирования при проведении междисциплинарного экзамена.

2.4 ТЗ на программирование для алгоритмических языков.

Выводы.

3. Разработка состава и структуры программного обеспечения компьютерной системы тестирования.

3.1 Формирования требований к КСТ.

3.2 Разработка структуры и выбор средств реализации КСТ.

3.3 Разработка семантической модели БД тестовых материалов.

Выводы:.

4. Описание разработанного ПО КСТ.

4.1 Реализация подсистемы подготовки тестов.

4.2 Реализация подсистемы тестирования.

4.3 Реализация подсистемы анализа результатов тестирования.

Выводы.

Введение диссертации (часть автореферата) на тему «Система компьютерного тестирования знаний»

Актуальность темы. На современном этапе развития образования в России все больше внимания уделяется внедрению эффективных форм контроля знаний. Одной из таких форм является проведение тестирования. Это наиболее стандартизованный и объективный метод контроля и оценивания знаний, умений и навыков испытуемого, который лишен таких традиционных недостатков других методов контроля знаний, как неоднородность требований, субъективность экзаменаторов, неопределенность системы оценок и т. п. Наиболее эффективным является проведение тестирования с помощью компьютерных систем тестирования (КСТ). Основными преимуществами КСТ являются:

1) применение современных методов оценки знаний;

2) оперативность обработки результатов тестирования;

3) возможность реализации обучающей функции;

4) индивидуализация процесса усвоения знаний учащимися;

5) освобождение преподавателя от выполнения рутинных работ.

Проведенный анализ существующих КСТ показал, что они в большинстве случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных КСТ не поддерживает адаптивные методы проведения тестов, слабо развита политомическая оценка выполнения тестовых заданий.

Актуальность темы диссертационной работы определяется необходимостью разработки КСТ, устраняющей недостатки рассмотренных систем, обеспечивающей реализацию адаптивных методов тестирования, опирающейся при разработке тестов на теоретические основы как классической, так и современной теории тестирования.

Целью диссертационной работы является повышение эффективности контроля знаний с помощью КСТ, что позволяет своевременно получать информацию о качестве учебного процесса, необходимую для принятия управленческих решений. Для достижения цели необходимо решить следующие задачи:

1. анализ существующих КСТ и выявление их достоинств и недостатков;

2. анализ существующих моделей и алгоритмов проведения тестирования;

3. поиск путей повышения качества тестирования с помощью использования КСТ;

4. разработка моделей и алгоритмов, повышающих эффективность использования КСТ;

5. разработка КСТ. Определение её структуры и функционального назначения её модулей. Выбор процесса разработки и технологий реализации;

6. апробация разработанной системы в конкретной предметной области.

Методы исследования. При решении поставленных задач использовались методы тестологии, математической статистики, теории графов, объектно-ориентированного анализа и проектирования, теории баз данных.

Научная новизна. К наиболее существенным научным результатам, отличным от ранее известных, относятся:

1) фреймовая модель тестового задания, расширяющая классическое и современное ее представление за счет включения метаинформации о семантике задания;

2) модель хранилища тестовых заданий, позволяющая учитывать отношения включения и пересечения между тестовыми заданиями;

3) гетерогенный адаптивный алгоритм тестирования, позволяющий повысить эффективность тестирования путем минимизации количества тестовых заданий;

4) метод политомической оценки, использующий новую формулу для учета в КСТ частично правильных ответов, что дает возможность повысить точность измерения знаний при тестировании;

5) предложен новый тип тестового задания (ТЗ) - задание на программирование, позволяющий в тестовой форме проверить знания языков программирования и реализацию алгоритмов.

Практическая ценность. Разработанные в диссертации модели и алгоритм проведения тестирования позволяют повысить его эффективность, перевести его на качественно более высокий уровень, когда появляется возможность индивидуализировать подход к каждому учащемуся на основании выявленной структуры знаний, организовать контроль и повысить точность измерений уровня знаний за счет политомической оценки тестовых заданий. Предложенный новый тип тестового задания значительно расширяет возможность применения тестов при определении уровня знаний по предметам, связанным с алгоритмическими языками.

Разработана программная реализация компьютерной системы тестирования, имеющая в своем составе подсистему формирования тестовых материалов, подсистему тестирования, подсистему анализа результатов тестирования и подсистему администрирования пользователей. Программное обеспечение (ПО) серверной части написано на языке Java, что обеспечивает развертывание системы практически на всех распространенных операционных системах, имеющих виртуальную Java-машину. ПО, обеспечивающее автономную поддержку подготовки тестов и тестирования, функционирует на платформе Win32 (Windows 95/98/Me/NT/2000/XP/2003).

На основании исследований доказана эффективность применения КСТ в учебном процессе. Данная система внедрена в Пензенском государственном университете (г. Пенза), Российском государственном университете инновационных технологий и предпринимательства г. Москва), Всемирном технологическом университете (г. Москва).

Основные положения, выносимые на защиту:

1) модель тестового задания, расширяющая классическое и современное ее представление;

2) модель хранилища тестовых заданий, учитывающая связи между ними, что позволяет повысить эффективность тестирования;

3) гетерогенный адаптивный алгоритм для контроля знаний, основанный на предложенной модели хранилища тестовых заданий;

4) метод политомической оценки ответов на тестовые задания, позволяющий повысить точность измерения уровня знаний;

5) новый тип тестового задания - задание на программирование, расширяющее область применения тестовых заданий.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на следующих конференциях и семинарах: I Всероссийская научная конференция молодых ученых и аспирантов «Новые информационные технологии: разработка и аспекты применения» (Таганрог, 1998), VII Международная конференция «Дистанционное образование: открытые и виртуальные среды» (Москва, 1999), VIII Международная студенческая школа-семинар «Новые информационные технологии» (Москва, 1999), ИДИ международные научно-технические конференции «Информационные технологии и системы в образовании, науке, бизнесе» (Пенза, 2000, 2002), V Международная научно-техническая конференция «Комплексное обеспечение показателей качества транспортных и технологических машин» (Пенза, 2001), VI, VII,IX Международные научно-методические конференции «Университетское образование» (Пенза, 2002, 2003, 2005), X Симпозиум «Квалиметрия в образовании: методология и практика» (Москва, 2002), Международная конференция «Новые технологии в образовании - 2» (Черногория, 2002), ИДИ научно-методические конференции профессорско-преподавательского состава, сотрудников и студентов «Инновации в науке, образовании и бизнесе» (Пенза, 2004, 2005), XIV Всероссийская научно-методическая конференция «Проблемы качества образования в свете болонских соглашений» (Уфа-Москва, 2004), конференция Proceedings of К2 summit «К2 knowledge sharing and looking at the future event» (Amsterdam, 2004), Всероссийская научно-методическая конференция «Открытое образование и информационные технологии» (Пенза, 2005), Международная научно-практическая конференция «Интеллектуальные технологии в образовании, экономике и управлении» (Воронеж, 2005), III Международная научно-методическая конференция «Новые образовательные технологии в вузе» (Екатеринбург, 2005), научно-технические конференции профессорско-преподавательского состава Пензенского государственного университета (2000-2006).

Публикации. По материалам диссертации опубликовано 27 печатных работ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, включающего 118 наименований, приложения, содержащего акты внедрения и примеры работы системы. Основная часть работы изложена на 132 машинописных страницах, содержит 25 рисунков и 8 таблиц.

Заключение диссертации по теме «Управление в социальных и экономических системах», Вергазов, Ринат Ильдусович

Выводы

1. Разработана подсистема подготовки тестовых материалов, позволяющая автоматизировано формировать тесты для междисциплинарного экзамена.

2. Разработана подсистема сетевого тестирования, реализующая адаптивный гетерогенный алгоритм и поддерживающая новый тип тестового задания на программирование.

3. Разработана подсистема анализа результатов тестирования, позволяющая применить политомическую оценку ТЗ и сформировать по результатам тестирования карту знаний тестируемого на основе предложенной модели ТЗ и модели банка тестовых заданий.

4. Разработан механизм подключаемых модулей (plug-in), что дает возможность гибкого и эффективного расширениям функциональных возможностей разработанного ПО путем добавления новых модулей, которые могут быть написаны сторонними разработчиками ПО.

5. Впервые предложено использование механизма подключаемых модулей для динамического формирования тестового задания с заданными характеристиками, что позволяет повысить эффективность теста за счет генерации новой формулировки ТЗ.

Заключение

1. Сформулированы и сгруппированы критерии, необходимые при сравнительном анализе различных КСТ, выборе КСТ для использования в учебном процессе, а также для анализа разработчиками направлений совершенствования КСТ.

2. Проведенный анализ КСТ показал, что они в большинстве случаев ориентированы на проведение тестов, а не на их разработку. При реализации тестирования ни одна из рассмотренных КСТ не поддерживает адаптивные методы проведения тестов.

3. Разработана фреймовая модель тестового задания, расширяющая классическое и современное ее представление за счет включения метаинформации о семантике.

4. Предложена модель хранилища тестовых заданий, отличающаяся от известных тем, что позволяет учитывать отношения включения и пересечения между тестовыми заданиями.

5. Разработан адаптивный гетерогенный алгоритм для проведения гетерогенных тестов. Его применение позволяет точнее измерить уровень знаний тестируемого и в зависимости от уровня его подготовки сократить количество задаваемых ему тестовых заданий.

6. Разработан новый тип тестового задания - задание на программирование, - позволяющий в тестовой форме проверить знания синтаксиса языка программирования и реализацию на нем алгоритмов.

7. Предложен метод политомической оценки ответа на тестовые задания, позволяющий повысить точность измерения знаний за счет учета ТЗ, на которые был дан частично правильный ответ.

8. Разработан механизм подключаемых модулей для расширения функций КСТ на этапах подготовки, проведения теста и анализа его результатов, позволяющий легко модернизировать систему.

9. Создана компьютерная система контроля знаний, которая реализует описанные выше модели и алгоритмы. Отличительной характеристикой системы является то, что пользователь не имеет ограничений по платформе, т. е. возможна организация подготовки тестов, тестирования и анализа как в среде Internet/Intranet, так и автономно.

Список литературы диссертационного исследования кандидат технических наук Вергазов, Ринат Ильдусович, 2006 год

1. Аванесов, В. С. Композиция тестовых заданий. / B.C. Аванесов-М.: Ассоциация инженеров-педагогов, 1996.- 191 с.

2. Аванесов, В. С. Научные проблемы тестового контроля знаний. / B.C. Аванесов М.: Учебный центр при исследовательском центре проблем качества подготовки специалистов, 1994. - 135 с.

3. Аванесов, B.C. Научные проблемы тестового контроля знаний./B.C. Аванесов-М.: Учебный центр при исследовательском центре проблем качества подготовки специалистов, 1994. 136 с.

4. Александреску, А. Современное проектирование на С++ / А. Александреску М.: Вильяме, 2002. - 336 с.

5. Анастази, А. Психологическое тестирование / А. Анастази, С. Урбина 7-е изд. - СПб.: Питер, 2003. - 668 с.

6. Андронов, A.M. Теория вероятностей и математическая статистика / A.M. Андронов, Е. А. Копытов, Л. Я. Гринглаз Спб.: Питер, 2004. - 464 с.

7. Башмаков, А.И. Разработка компьютерных учебников и обучающих систем. / А.И. Башмаков, И.А. Башмаков М.: Изд-во «Филинъ», 2002. - 616 с.

8. Белов, А.А Комплекс программных средств тестирования / А.А Белов, Р.И. Вергазов // Университетское образование: Сборник материалов VII Междунар. науч.-методич. конф. Пенза, 10-11 апреля 2003 г. Пенза : ПДЗ, 2003. - с. 490-492.

9. Белов, А.А. Система анализа результатов тестирования / А.А Белов // Университетское образование: Сборник материалов VIII Междунар. науч.-методич. конф. Пенза, 15-16 апреля Пенза : ПДЗ,2004. С.497-498.

10. Белов, А.А. Система тестирования ELLEKTA / А.А. Белов, Р.И. Вергазов, С.И. Овчинников // Материалы VI Междунар. науч.-методич. конф. Пенза, 10-11 апреля 2002 г. Пенза: ПДЗ, 2002. - С. 96-98.

11. Бершадский, A.M. Актуальные проблемы компьютерного контроля знаний / A.M. Бершадский, А.А. Белов, Р.И. Вергазов, И.Г. Кревский // Вестник компьютерных и информационных технологий.2005.-№ 1.-С. 40-48.

12. Бершадский, A.M. Компьютерные средства контроля знаний студентов различных форм обучения / A.M. Бершадский, Р.И. Вергазов, И.Г. Кревский // Новые технологии в образовании 2. Черногория, 1-8 июня 2002 г, Черногория С. 41-44.

13. Беспалько, В.П. Составляющие педагогической технологии./ В.П. Беспалько М.: Педагогика, 1989. - 191 с.

14. Вайк, A. JavaScript: Полное руководство / А. Вайк, Д. Джиллиам К.: Вильяме, 2004. - 720 с.

15. Ван Хейк, Б. JDBC: Java и базы данных / Б. Ван Хейк М.: Лори 1999.-320 с.

16. Васильев, В.И. Методологические правила конструирования компьютерных тестов / В.И. Васильев, А.Н. Демидов, Н.Г. Малышев, Т.Н. Тягунова М: Всемирный технологический университет, 2000. - 64 с.

17. Васильев, В.И. Программно-педагогические тесты / В.И. Васильев, Н.Г. Малышев, Т.Н. Тягунова М.: МГТУ ГА, 1999. - 52 с.

18. Вергазов, Р.И. Автоматизация проверки качества тестовых заданий / Р.И. Вергазов, И.Г. Кревский, А.Ю. Жильцов // Инновации в образовании: Материалы I науч.-методич. конф. Пенза, 26-27 апреля 2003 г. Пенза : Изд-во ПТУ, 2003. - С. 32-35.

19. Вергазов, Р.И. Защита данных в системе тестирования / Р.И. Вергазов, М.В. Чуваев // IX Международная научно-методическая конференция Университетское образование. Пенза, 14-15 апреля 2005 г. Пенза : Изд-во ПТУ, 2005. - С 97-98.

20. Вергазов, Р.И. Интероперабельность тестовых материалов / Р.И. Вергазов // Университетское образование: Сборник материалов VII Междунар. науч.-методич. конф. Пенза, 10-11 апреля 2003 г. Пенза: ПДЗ, 2003.-с. 495-497.

21. Гамильтон, Б. ADO .NET. Сборник рецептов / Б. Гамильтон СПб.: Питер, 2003. - 576 с.

22. Гамма, Э. Приемы объектно-ориентированного проектирования / Э. Гамма, Р. Хелм, Р. Джонсон, Дж. Влиссидес -СПб.: Питер, 2001.-368 с.

23. Гмурман, В. Е. Теория вероятностей и математическая статистика. / В. Е. Гмурман М.: Высш.шк. 1972. - 368 с.

24. Гомер, A. ASP 3.0 для профессионалов / А. Гомер, Д. Суссман, Б. Френсис М.: Лори, 2005. - 1164 с.

25. Дунаев, В.В. Базы данных. Язык SQL / В.В. Дунаев СПб. : BHV-Петербург, 2006. - 288 с.

26. Дюбуа, П. MySQL / П. Дюбуа М.: Вильяме, 2001. - 816 с.

27. Информационный сайт корпорации Microsoft Электронный ресурс. Режим доступа: http://www.microsoft.com

28. Информационный сайт КСТ "ACT" http://www.ast-centre.ru

29. Информационный сайт КСТ "Aframe" Электронный ресурс. Режим доступа: http://www.aframe.com.au/

30. Информационный сайт КСТ "Ellekta" Электронный ресурс. Режим доступа: http://do.stup.ac.ru

31. Информационный сайт КСТ "Perception" Электронный ресурс. Режим доступа: http://www.qestionmark.com

32. Информационный сайт КСТ "SunRav TestOfficePro" Электронный ресурс. Режим доступа: http://www.sunrav.ru

33. Информационный сайт КСТ "Usatic 2000" Электронный ресурс. Режим доступа: http://usatic.narod.ru

34. Информационный сайт КСТ "WebQuiz ХР" Электронный ресурс. Режим доступа: http://www.smartlite.it

35. Информационный сайт КСТ UniTest. Электронный ресурс. Режим доступа: http://sight2k.com/

36. Информационный сайт спецификации IMS QTI Электронный ресурс. Режим доступа: http://www.imsglobal.org

37. Информационный сайт фирмы IBM Электронный ресурс. РежимflOCTyna:http://wwwl 28.ibm.com/developerworks/rational/library/4706 .html

38. Информационный сайт IDF 1X Электронный ресурс. -Режим доступа: http://www.idef.com/

39. Информационный сайт Web-сервера IIS Электронный ресурс. Режим доступа: http://www.microsoft.com/WindowsServer2003/iis

40. Информационный сайт алгоритмов нечеткого поиска Электронный ресурс. Режим доступа: http://algolist.manual.ru/search/fsearch/

41. Информационный сайт В. С. Аванесова Электронный ресурс. Режим доступа: http://testolog.narod.ru

42. Информационный сайт КСТ "Socrat XXI" Электронный ресурс. Режим доступа: http://www.xxisoft.com

43. Информационный сайт КСТ "xDLS" Электронный ресурс.- Режим доступа: http://www.xdlsoft.com

44. Информационный сайт КСТ "Прометей" Электронный ресурс. Режим доступа: http://www.prometeus.ru

45. Информационный сайт модели Раша Электронный ресурс.- Режим доступа: http://www.rash.org

46. Информационный сайт поддержки разработчиков открытых систем Электронный ресурс. Режим доступа: http://www.apache.org/apache/

47. Информационный сайт поддержки разработчиков систем на основе Apache Struts Электронный ресурс. Режим доступа: http://www.apache.org/struts/

48. Информационный сайт поддержки разработчиков систем на основе Apache Tomcat Электронный ресурс. Режим доступа: http://www.apache.org/tomcat/

49. Информационный сайт поддержки разработчиков систем на основе JSP Электронный ресурс. Режим доступа: http://java.sun.com/products/jsp

50. Информационный сайт поддержки разработчиков систем на основе Web сервера Apache Электронный ресурс. Режим доступа: http://www.apache.org/apache/.

51. Информационный сайт поддержки разработчиков систем на основе продукции фирмы Microsoft Электронный ресурс. Режим доступа: http://www.microsoft.com/

52. Информационный сайт поддержки разработчиков систем на основе сервлетов Электронный ресурс. Режим доступа: http://java.sun.com/products/servlet

53. Информационный сайт поддержки разработчиков систем на основе СУБД MySQL Электронный ресурс. Режим доступа: http://www.mysql.org.

54. Информационный сайт проекта Mono Электронный ресурс. Режим доступа: http://www.mono-project.com/

55. Ирвин, М. Access 2002. Библия пользователя / М. Ирвин, К. Праг-К.: Диалектика, 2003 1216 с.

56. Карданова, Е. Ю. Основные модели современной теории тестирования / Е. Ю. Карданова, Ю.М. Нейман // Вопросы тестирования в образовании 2003. - № 9 - С. 12-37.

57. Коберниченко, A. Visual Studio 6. Искусство программирования. / А. Коберниченко М.: Нолидж, 1999. - 256 с.

58. Корнз, О. Основы ASP.NET и VB.NET / О. Корнз, К. Гуд -М.: Лори, 2003. 592 с.

59. Куклин, В.Ж. КАМЕРТОН. Технология проведения тестирования и анализа результатов. / В.Ж. Куклин, В.Г. Наводнов, М.В. Петропавловский // Йошкар-Ола, МарГТУ: 1995.

60. Курняван, Б. Создание WEB-приложений на языке Java с помощью сервлетов, JSP и EJB / Б. Курняван М.: Лори, 2005. - 720 с.

61. Лиссуар, A. WMI: программирование на JavaScript и VBScript / А. Лиссуар М.: КУДИЦ-Образ, 2005. - 544 с.

62. Мешков, А. Программирование для Windows NT и Windows 95: В трех томах. Том 2. / А. Мешков, Ю. Тихомиров СПб.: BHV, 1997.-464с.

63. Мешков, А. Программирование для Windows NT и Windows 95: В трех томах. Том 2. / А. Мешков, Ю. Тихомиров СПб.: BHV - Санкт-Петербург, 1997. - 464 с.

64. Наводнов, В. Г. Математические модели САПР ПИМ. / В. Г. Наводнов — Йошкар-Ола: Научно-информационный центр государственной аккредитации, 1997. — 72 с.

65. Наводнов, В. Интернет-экзамен в сфере профессионального образования / Наводнов, В., А. Масленников // Журнал "Высшее образование в России. Научно-педагогический журнал МОН РФ." 2006. - N4. - с. 15-19.

66. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.М. Нейман, В.А. Хлебников М.: Прометей, 2000. - 168 с.

67. Нейман, Ю.М. Педагогическое тестирование как измерение / Ю.М. Нейман, В.А. Хлебников М.: Центр тестирования МО РФ, 2002. - 67 с.

68. Овчинников, В .В. Оценивание учебных достижений учащихся при проведении централизованного тестирования / В.В. Овчинников М.: Центр тестирования МО РФ, 2001. - 27 с.

69. Описание поведения firewall программ Электронный ресурс. Режим доступа: http://rfc.net/rfc2979.html

70. Описание протокола HTTP Электронный ресурс. Режим доступа: http://www.w3 .org/Protocols/rfc2616/

71. Пауэлл, Т.А. Полное руководство по HTML / Т.А. Пауэлл -Мн.: ООО "Попурри", 2001. 912 с.

72. Пауэре, Ш. ASP компоненты. Для профессионалов / Ш. Пауэре // СПб: Питер, 2002 832 с.

73. Полис, Г. Разработка программных проектов на основе Rational Unified Process (RUP) / Г. Полис М.: Бином-Пресс, 2005. -256 стр.

74. Понамарев, В. Программирование на С++/С# в Visual Studio .NET 2003 / В. Понамарев СПб.: BHV, 2003. - 352 с.

75. Проект отраслевого терминологического стандарта Центра тестирования. "Педагогические тесты. Термины и определения" Электронный ресурс. Режим доступа: http://www.ege.ru/dict/dictl.htm

76. Пьюполо, Д. OLE: создание элементов управления / Д. Пьюполо К.: BHV, 1997. - 432 с.

77. Рофэйд, Э. СОМ и СОМ+ / Э. Рофэйд, Я. Шохауд К.: ВЕК+, К.: НТИ, М.: Энтроа, 2000. - 560 с.

78. Сайт центра тестирования министерства образования и науки Российской Федерации Электронный ресурс. Режим доступа: http://www.rustest.ru/

79. Соммервилл, И. Инженерия программного обеспечения. / И. Соммервилл М.: Вильяме, 2002. - 624 с.

80. Страуструп, Б. Язык программирование С++ Специальное издание / Б. Страуструп М.:, СПб.: Издательство Бином - Невский Диалект, 2002.- 1099 с.

81. Трельсен, Э., Модель СОМ и применение ATL 3.0 / Э., Трельсен СПб.: BHV, 2001. - 928 с.

82. Челышкова, М. Б. Математические модели современной теории тестов. / М. Б. Челышкова // Тез. докл. школа-семинар "Научные проблемы тестового контроля знаний" М.: Исследовательский, центр проблем качества подготовки специалистов,1994.-С. 32-36.

83. Челышкова, М.Б. Адаптивное тестирование в образовании / М.Б. Челышкова-М.: Исследовательский центр проблем качества подготовки специалистов, 2001. 165 с.

84. Челышкова, М.Б. Разработка педагогических тестов на основе современных математических моделей. / М.Б. Челышкова М.

85. Исследовательский центр проблем качества подготовки специалистов,1995.-27 с.

86. Челышкова, М.Б. Теория и практика конструирования педагогических тестов / М.Б. Челышкова. М.: Логос, 2002. - 432 с.

87. Чен, П.П. Модель "сущность-связь" шаг к единому представлению данных. / П.П. Чен // Журнал СУБД - 1995 - №3 - с. 137-158.

88. Шлосснейгл, Д. Профессиональное программирование на РНР / Д. Шлосснейгл К.: Вильяме, 2006. - 624 с.

89. Элджер, Д. С++ / Д. Элджер СПб: Питер, 2001. - 320 с.

90. Birnbaum, A. Some Latent Trait Models and Their Use in Inferring an Examinee's Ability / A. Birnbaum, F.M. Lord, M.R. Novick, Statistical Theories of Mental Test Scores. Mass.: Addison-Wesley, 1968. - 568 p.

91. Box, D. Essential COM. / D. Box Boston : Addison-Wesley Professional, 1997.-464 p.

92. Crocker, L. Introduction to classical & modern test theory / L. Crocker, J. Algina. Orlando : Harcourt Brace College Publishers, 1986. -512 p.

93. Eckel, B. Thinking in Java / B. Eckel NJ.: Prentice Hall Ptr, 1998.- 1098 p.

94. Embretson, S.E. Item Response Theory for Psychologists / S. E. Embretson, S. P. Reise N.Y.: LEA, 2000. - 376 p.

95. Hambelton, R.K. Fundamentals of Item Response Theory / R.K. Hambelton, H. Swaminathan, H.J. Rogers London : SAGE Publication Inc., 1991. - 184 p.

96. Hambelton, R.K. Item Response Theory: Principles and Applications / R.K. Hambelton, H. Swaminathan N-Y.: Springer, 1983. -356 p.

97. Keeves, J. P. Educational research. Methodology and Measurement: An International Handbook. / J. P. Keeves Oxford.: Pergamon Press, 1988. - 211 p.

98. Linn, L. Educational Measurement / L. Linn. N-Y. : American Council on Education/Oryx Press, 1988. - 624 p.

99. Lord, F.M. Statistical theories of mental test scores / F.M. Lord N-Y.: McGraw Hill Text - 1967. - 568 p.

100. Rasch, G. On Specific Objectivity: An Attempt of Formalizing the Request for Generality and Validity of Scientific Statements. Danish Yearbook of Philosophy. / G. Rash Munksgaard, Copenhagen : SAGE, 1977.-216 p.

101. Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright. / G. Rash Chicago & London : The Univ. of Chicago Press, 1980. - 199 p.

102. Schneier, В. Applied Cryptography / В. Schneier- N-Y.: John Wiley & Sons, 1996.-784 p.

103. Weiss, D.J. New Horizons in Testing: Latent Trait Test Theory and Computerised Adaptive Testing. / D.J. Weiss N-Y.: Academic Press, 1983.-345 p.

104. Wim, J.L. Handbook of Modern Item Response Theory / J.L. Wim, R.K. Hambelton. N-Y.: Springer-Verlag, 1997. - 510 p.