Алгоритмическое и программное обеспечение систем диагностики компетенций тема диссертации и автореферата по ВАК РФ 19.00.03, кандидат наук Иванов, Георгий Валентинович

• Иванов, Георгий Валентинович
• кандидат наук
• 2015

Оглавление диссертации кандидат наук Иванов, Георгий Валентинович

ОГЛАВЛЕНИЕ:

ВВЕДЕНИЕ

Глава 1. Проблемы и перспективы в области автоматизированного тестирования знаний.

1.1 .Теоретические находки и эмпирические основания педагогической тестологии.

1.2 От знаний к навыкам - современные тестологические подходы к оценке сформированности практических умений.

Выводы по главе

Глава 2. Разработка автоматизированной системы предъявления и оценки тестовых заданий.

2.1 Структура автоматизированной системы.

2.2 Разработка алгоритмов моделирования ситуационных задач в практике обучения специалиста-психолога.

Глава 3. Результаты тестирования знаний и навыков среди студентов, обучающихся по специальности "Клиническая психология".

3.1. Результаты тестирования знаний студентов.

3.2. Коррекция содержания банка заданий.

3.3 Экспериментальная оценка профессиональных навыков с помощью макета автоматизированной системы моделирования ситуационных задач.

Заключение.

Введение диссертации (часть автореферата) на тему «Алгоритмическое и программное обеспечение систем диагностики компетенций»

Введение.

Актуальность темы исследования.

В настоящее время разнообразные тесты (от англ. test - испытание) широко применяются как для экзаменационных испытаний и мониторинга достижений при обучении, так и для профессионального отбора работников. Однако у большинства используемых в настоящее время тестов можно отметить два недостатка: содержательный и математико-статистический.

Содержательный недостаток можно определить как недостаток экологической валидности: в тесте испытуемый отвечает на не связанные между собой вопросы, в то время как в реальной деятельности специалист находится в развивающейся профессиональной ситуации, на которую он может влиять своими действиями.

Математико-статистический недостаток заключается в том, что результат теста (например, уровень знаний испытуемого в определенной области науки) зависит от того, какой конкретно тест был применен. Более полезными были бы измерения, не зависящие от того, какой именно тест был применен, а зависящие только от характеристик испытуемого.

Измерения, основанные на т.н. современной теории тестов (Item Response Theory, IRT), не зависят от того, какой именно тест был применен. Однако описанные в литературе численные методы, используемые для точной оценки параметров модели (методы локальной оптимизации функции максимального правдоподобия), могут в части случаев выставлять испытуемым оценки успешности, не имеющие ничего общего с реальным положением дел.

Рядовые пользователи тестов (психологи и педагоги) в большинстве случаев не могут позволить себе тратить время на программирование и математическое обеспечение тестов, но нуждаются в возможности легко создавать тесты, лишенные указанных выше недостатков. Таким образом, разработка новых алгоритмов тестирования и написание программного обеспечения для создания

тестов, проведения испытаний и обработки данных позволят внедрить тестирование в образование и профотбор более широко, чем это было ранее, одновременно уменьшив традиционные недостатки, присущие тестированию как методу (несоответствие теста реальной деятельности; зависимость результатов от субъективно выбранного теста).

Степень ее разработанности:

Проблема анализа данных тестов типа "вопрос-выбор варианта ответа" разрабатывается с конца XIX в., когда Ф.Гальтон предложил классическую теорию теста. В 1960-х IRT отчасти заменила классическую теорию теста. Сегодня разрабатываются модели MIRT (Multidimensional Item Response Theory), предполагающие что ответ испытуемого на каждый вопрос детерминируется несколькими скрытыми переменными - компетенциями (Handbook of statistics. Volume 26: Psychometrics). Создаются адаптивные тесты, в которых история ответов испытуемого определяет то, какой по сложности вопрос будет предъявлен следующим (Ушаков Д.В., 2006). Наконец, разрабатываются новые модели для анализа данных тестирования, использующие информацию о времени, затраченном испытуемым для решения задачи в дополнение к обычному индикатору правильности ответа (Попов, 2009). Однако отмеченные выше недочеты в алгоритме оценки параметров моделей в полной мере разделяются всеми этими подходами, причем ситуация для сложных MIRT моделей усугубляется "проклятием многомерности" (трудностями оценки множества латентных параметров модели по матрице ответов испытуемых). Естественно начинать устранение этих противоречий с наиболее хорошо изученного случая одномерной однопараметрической IRT модели (модели Раша), что и предлагается в данной работе.

Наряду с развитием аппарата классических тестов за рубежом разрабатываются также системы симуляции профессиональных ситуаций: CASUS, vpSim, OpenLabirinth и другие. В данной работе проводится обзор существующих систем симуляции и описывается созданная нами систему QuestMaker, по ряду

технических решений превосходящая зарубежные аналоги и разрешающая описанные выше противоречия.

Предмет исследованияг-Уровень эффективности испытуемых в ситуации проверки знаний.

Объект исследования: студенты и аспиранты РГПУ им. А.И. Герцена, психолого-педагогический факультет.

Цель исследования:

Исследовать возможность применения новых моделей взаимодействия человека с тестом и новых форм тестового контроля для текущего мониторинга успехов в обучении.

Задачи исследования:

1) Описать архитектуру системы для оценки компетенций.

2) Разработать программное обеспечение для проведения тестирования.

3) Выбрать психолого-математическую модель для обработки результатов тестирования

4) Разработать алгоритмы и программное обеспечение для обработки результатов экзамена.

5) Провести пробные испытания системы.

В процессе исследования проверяются гипотезы:

1) Ответы испытуемых на монотематические тесты знаний соответствуют ЖТ модели.

2) Системы симуляции профессиональных ситуаций способны надежно дифференцировать испытуемых по уровню практических достижений.

Научная новизна.

6

I

Научная новизна данной работы заключается как в улучшенном алгоритме обработки традиционных тестовых данных, так и в реализации принципиально нового для отечественной практики подхода к тестированию и оценке практических навыков.

Существующие системы обработки тестовых данных согласно Item Response Theory основаны на нахождении минимума некоей функции, выражающей отклонение экспериментальных данных от теории в зависимости от параметров модели тестирования. Минимум ищется обычно методом локальной оптимизации (градиентный спуск, метод Ньютона). Локальная оптимизация не гарантирует того, что найденный минимум является абсолютным. Это может быть локальный минимум - наименьшее значение целевой функции в некоторой области значений параметров. Таким образом, в результате работы существующего программного обеспечения могут быть найдены не наилучшие оценки IRT модели. В нашем программном обеспечении вначале, с помощью метода наименьших квадратов находятся грубые оценки параметров модели. Далее методом градиентного спуска ищется локальный минимум функции правдоподобия, лежащий в окрестности вектора грубых оценок параметров модели. Так как найденный локальный минимум лежит вблизи приближенно верного решения, он является так же и глобальным минимумом, обеспечивая точную оценку параметров IRT модели.

Во второй части работы мы описываем принципиально новый класс тестовых методик - адаптивные древовидные. Для оценки успешности деятельности испытуемого нами разработан метод экспертной оценки, позволяющий точно измерить правильность каждого ответа испытуемого и правильность заполнения всего теста в целом.

Теоретическая и практическая значимость работы

Теоретическая значимость работы заключается:

- В выдвижении гипотезы о Item Responce Theory как о частном случае теории выбора по сходству (Similarity choice model).

- В рассмотрении явления вынесения педагогической оценки как психофизического измерения.

- В получении эмпирических доказательств психологической реальности компетенций - скрытых структур, определяющих достижения человека в частных дисциплинах.

Практическая значимость работы заключается в создании программного комплекса, позволяющего пользователям-не программистам создавать, проводить и обрабатывать как традиционные тесты типа "вопрос-ответ", так и древовидные симуляции профессиональных ситуаций.

Методология и методы исследования

Исследование проводится с опорой на:

- галилеевскую методологию психологии (Левин, 2001);

- метод математического моделирования;

- метод тестирования;

- метод экспертной оценки;

- математико-статистические методы. Положения, выносимые на защиту

1) Комбинация метода наименьших квадратов и метода максимального правдоподобия, реализованная в программе АнализЖТ, способна надежно оценивать параметры модели Раша.

2) Ответы испытуемых на задания теста, составленного как монотематический, подчиняются модели Раша.

3) Программное обеспечение С^иезМакег пригодно для составления ситуационных задач.

Степень достоверности и апробация

Достоверность результатов исследования обеспечивается:

-опорой на прогрессивную галилеевскую методологию;

-использованием современных математических моделей и процедурных подходов в области педагогического измерения;

-высокой квалификацией привлекаемых экспертов;

-репрезентативностью выборки респондентов;

-корректным применением математических и статистических приемов, техник программирования ЭВМ.

Результаты исследования докладывались и публиковались:

На ежегодных Выставках научных достижений РГПУ им. А.И. Герцена (2012, 2013).

На конференциях "Инновация в образовании: современная психология в обучении" (2013 г.), "Высокотехнологичная информационная образовательная среда" (2014 г.), "Эрго 2014: психология труда, инженерная психология и эргономика", на конкурсе НИР студентов и аспирантов в области информатики Белгородского государственного. Университета (2012).

По теме исследования опубликовано 3 статьи в рецензируемых журналах.

Получено авторское свидетельство о регистрации программы "АнализШТ" в федеральном каталоге алгоритмов и программ.

Проведенное исследование было поддержано грантами Министерства Образования и науки РФ: "Разработка автоматизированной системы текущего мониторинга качества высшего профессионального образования в аспекте

компетентностного подхода" (2012) и "Создание макета автоматизированной системы экспертизы компетенций специалистов-выпускников учреждений высшего профессионального образования" (2013).

Структура работы. Работа состоит из введения, 3 глав и заключения. Содержит 21 рисунок и 20 формул, две таблицы.

Глава 1. Проблемы и перспективы в области автоматизированного

тестирования знании.

1.1.Теоретические находки и эмпирические основания педагогической

тестологии.

Обращаясь к анализу теоретических основ педагогической тестологии в контексте современных информационно-коммуникативных технологий, следует отметить, что каждая наука в процессе своего развития проходит следующие три стадии.

1) Стадию несистематического накопления эмпирических данных.

2) Стадию поиска простых эмпирических закономерностей в данных.

3) Стадию форхмулировки выраженных языком математики гипотез о природе исследуемой реальности. Формулы для предсказания эмпирических данных, выводимые из такого рода гипотез, обычно сложнее a posteriori сформулированных закономерностей второй стадии , но они сводят исследуемый предмет к взаимодействию его более простых компонент, описываемому фундаментальными законами, и в этом смысле объясняют реальность. Гипотеза превращается в теорию после подтверждения ее предсказаний эмпирическими данными.

Предметом тестологии является взаимодействие экзаменуемого человека с набором вопросов - тестом. В настоящем разделе будут рассмотрены

основные стадии развития тестологии, будет изложена гипотеза о процессе взаимодействия человека и тестового вопроса, рассмотрены проблемы, возникающие при сравнении теоретических предсказаний с эмпирикой. (Отметим, что пример классической физики, прошедшей все три стадии развития, был уже перед глазами первых тестологов. Поэтому в развитии тестологии эти стадии могли перекрываться в зависимости от степени "прогрессивности" того или иного ученого или коллектива.)

1.1.1 Показатели, обобщающие результаты эмпирического тестирования.

Рассмотрим типичный тест для проверки знаний. Тест состоит из вопросов, к каждому вопросу прилагаются варианты ответа, один из которых правильный, а остальные отвлекающие - так называемые дистракторы. Тест предъявляется выборке экзаменуемых, а результат тестирования выборки представлен таблицей, где строкам соответствуют испытуемые, а столбцам -экзаменационные задания. Если ¡-й испытуемый ответил правильно на >й вопрос, клетка - пересечение ¿-той строки и ]-того столбца заполняется единицей; если ответ был неправильный, клетка заполняется нулем.

По данной таблице (матрице ответов) для каждого испытуемого можно подсчитать первичный балл испытуемого - число правильных ответов. Представляется необходимым, чтобы испытуемый с большим уровнем знаний имел больший первичный балл.

Также можно подсчитать первичный балл задания - число испытуемых в выборке, верно ответивших на данное задание. Задание с меньшим первичным баллом является более трудным (т.к. на него смогли правильно ответить меньше испытуемых).

Таким образом, введена характеристика испытуемого - уровень знаний и характеристика задания - трудность.

Однако первичные баллы как средство измерения этих характеристик имеют несколько недостатков:

1) Рассмотрим две гипотетические выборки студентов: 20 человек, обучающихся на «отлично», и 20 человек, обучающихся на «удовлетворительно». Очевидно, что на один и тот же вопрос в первой выборке правильные ответы будут даваться чаще, чем во второй, то есть задание для первой выборки будет иметь меньшую трудность, чем для второй.

2) Аналогичная ситуация с оценкой уровня знаний первичными баллами. Пусть есть 20 трудных (по оценке преподавателя) вопросов и 20 легких. Очевидно, один и тот же студент в первом тесте наберет меньше первичных баллов, чем во втором. То есть по результатам первого теста студент будет расценен как обладающий более высоким уровнем знаний, чем по результатам второго тестирования.

1.1.2 Анализ кривых заданий.

Кроме балла трудности задание можно более полно описать с помощью т.н. характеристической «кривой задания».

Исторически, такие кривые были впервые построены эмпирически в конце 40-х - начале 50-х годов XX века (Аванесов, 2007). Для этого опросу по тесту подвергалась большая группа людей (более 1 000 человек). Далее для каждого испытуемого вычислялось число правильных ответов (первичный балл), а исходная большая выборка разбивалась на подвыборки. Каждую подвыборку составляли люди, получившие один и тот же первичный балл. Таким образом, имелись подвыборки лиц, ответивших только на один вопрос, только на два вопроса, только на три вопроса и т.д. Для каждой подвыборки вычислялся процент лиц, получивших данный первичный балл и правильно ответивших на определенный вопрос (например, на вопрос №1).

Далее для каждого вопроса строилась характеристическая кривая, абсцисса которой - первичный балл испытуемых данной подвыборки, а ордината -

процент испытуемых данной подвыборки, правильно ответивших на данный вопрос. Этот процент рассматривается как оценка вероятности того, что ответивший на два (три, четыре и т.д.) вопроса ответит на данный вопрос. Американский институт тестирования коллекционирует такие кривые уже 50 лет. Хотя в некоторых случаях встречаются "нетипичные" кривые (например, Ц-образные, такие что на вопрос способны ответить только те, кто дает мало правильных ответов, и те, кто дает правильные ответы на большинство вопросов), большинство вопросов характеризуется тем, что вероятность правильного ответа монотонно возрастает по мере того, как мы рассматриваем все более способных испытуемых (с большими первичными баллами). Отсюда утверждение: характеристические кривые заданий - монотонно возрастающие.

Формулировка этого утверждения была сделана уже на следующей стадии в развитии тестологии - стадии поиска регулярности в данных. Уже Ф. Гальтон заметил, что, если измерить у выборки людей определенную характеристику (например, массу), гистограмма частоты встречаемости того или иного значения данной характеристики колоколообразна и описывается формулой нормального распределения. (Мы в данном случае не будем учитывать, что столбец гистограммы отображает частоту встречаемости значений признака из определенного интервала, а закон колоколообразной кривой сформулирован для плотности вероятности - вероятности встретить значение признака из бесконечно малого интервала.) Распределение первичных баллов испытуемых в выборке тоже часто колоколообразно и описывается нормальным законом (Фер, Бакарак, 2010).

Очевидно, что варианты колоколообразных кривых многообразны, а их форма (в случае оценки уровня знаний) определяется двумя основными параметрами: средним значением уровня знаний в выборке (локализация центра «колокола» по оси абсцисс) и дисперсией уровня знаний. Дисперсия

характеризует разброс уровня знаний от человека к человеку, степень "растянутости" колокола.

Оценки дисперсии и среднего значения могут быть получены из выборочных данных. При этом вместо дисперсии обычно приводят квадратный корень из дисперсии, т.к. дисперсия измеряется в квадратах баллов, а стандартное отклонение в баллах, то есть в тех же единицах, что и исходные измерения.

Показатели дисперсии и среднего значения первичных баллов испытуемых позволяют вычислить уровень знаний испытуемого. Для этого необходимо вычесть из первичного балла данного испытуемого средний первичный балл, полученный по группе испытуемых, и разделить полученную разность на стандартное отклонение первичного балла в группе (изменчивость числа первичных баллов от человека к человеку). Полученная величина отражает степень отклонения данного испытуемого от "среднего" уровня знаний.

Деление отклонения от среднего на меру изменчивости обосновывается тем, что такая операция позволяет выразить результаты двух разных тестов в одинаковых единицах - единицах стандартного отклонения и так сделать результаты сравнимыми. "Подобное преобразование используется в том случае, если отсутствуют другие возможности привести данные к единой шкале» (Кричевец, Шикин, Дьячков, 2003).

Результат любого теста, выраженный в единицах стандартного отклонения, можно преобразовать в процент испытуемых исходной выборки, имеющих еще лучший результат, чем данный испытуемый. Это удобно для целей отбора в образовании и в трудовой деятельности.

Возвращаясь к примеру со студентом, «уровень знаний» которого зависит от того, дали ему трудные или легкие вопросы, следует отметить, что выражение уровня знаний как отклонения от среднего решает эту проблему. При тестировании одной и той же выборки и легким и трудным наборами

вопросов первичный балл каждого испытуемого, набранный в тесте с трудными вопросами, будет скорее меньше его же первичного балла, набранного в легком тесте. Соответственно, средний балл выборки испытуемых, вычисленный по результатам трудного теста, будет меньше среднего балла, вычисленного по результатам легкого теста.

В случае, если обучающийся в трудном тесте наберет меньше баллов, чем в легком, отклонение от среднего для обоих тестов может быть примерно одинаковым из-за разницы в средних значениях. Соответственно, если стандартные отклонения баллов в трудном и легком тестах одинаковы, то по двум тестам у данного студента будет определен одинаковый уровень знаний.

В действительности, такие идеальные результаты получаются достаточно редко. Кроме того, оценка уровня знаний в этом случае определяется характеристикой выборки испытуемых (какова та выборка, по которой оцениваются среднее и дисперсия).

Один и тот же студент получит разные оценки уровня знаний, если сравнивать его с разными выборками. Объем выборки, по которой оценивается среднее и стандартное отклонение первичных баллов испытуемых по данному тесту, всегда конечен. Возможности формирования идеально репрезентативной выборки ограничены - например, в нее могут не попасть люди определенного социального статуса. Кроме того, через несколько (десятков) лет оценки среднего и стандартного отклонения, полученные по такой выборке, могут уже не соответствовать результатам, полученным на новом поколении людей. Наконец, остается сформулированная в первом параграфе относительность оценки трудностей заданий (первичные баллы заданий продолжают зависеть от того, по какой выборке испытуемых они рассчитаны).

1.1.3 Гипотетико-дедуктивный подход.

Эти проблемы попытался решить датский математик Г.Раш, работы которого перевели тестологию на третью - гипотетико-дедуктивно-экспериментальную стадию развития. Фактически переход тестологии на эту стадию развития связан с первыми попытками смоделировать процесс ответа на

вопрос. Исторически первой теорией ответов на вопросы можно считать шкалограммный анализ Гуттмана (8ес1о\у, Ре1го1с1, 1981).

Гуттман предположил (применительно к ситуации оценки знаний), что каждый человек характеризуется прямо не наблюдаемой (латентной) величиной уровня знаний. Каждому вопросу соответствует определенный порог сложности. Для того чтобы правильно ответить на вопрос, величина уровня знаний испытуемого должна превышать порог сложности данного вопроса. При этом, если уровень знаний опрашиваемого выше порога сложности данного вопроса, вероятность того, что данный человек правильно ответит на данный вопрос, принимается равной единице. Если уровень знаний ниже порога сложности вопроса, вероятность того, что данный человек правильно ответит на вопрос, принимается равной нулю. Точка, в которой уровень знаний испытуемого равен порогу вопроса с точки зрения математики, представляет собой бесконечно малый интервал. Данный испытуемый со своим уровнем знаний не может попасть в бесконечно малый интервал, а только в интервал конечной длины. Поэтому совпадение уровня знаний испытуемого и порога вопроса математически невозможно. Соответственно и вопрос о том, как испытуемый отвечает, если уровень знаний совпадает с порогом вопроса, оказывается математически некорректным.

Характеристическая кривая вопроса тогда имеет вид, показанный на

рис.1.

вероятность правильного ответа -- \

величина способности''

Рисунок 1. Представление вопроса в терминах Гуттмана.

Если предъявлять испытуемому вопросы в порядке нарастания трудности, испытуемый в ходе тестирования преодолевает пороги сложности один за другим. Достигнув порога, который не преодолевается с наличествующим уровнем знаний, испытуемый ошибается, а также ошибается при попытках дать ответ на вопросы с еще более высоким уровнем трудности.

Таким образом, строка, описывающая ответы испытуемого, должна иметь

вид:

11111111000000000000

В действительности, даже при упорядоченных по сложности вопросах такие строки встречаются редко. Вместе с тем, даже несмотря на неточность модели Гуттмана, она содержит важные компоненты, такие как сложность задания и способность (уровень знаний) испытуемого. Заметим, что способность человека и сложность задания измеряются на одном латентном континууме (шкале) и значит, выражаются в одних единицах. Еще одна важная идея, введенная Гуттманом, - моделировать основной формулой вероятность, с которой на вопрос ответит один конкретный индивидуум, и на этой основе рассчитывать матрицу групповых результатов, считая величины знаний индивидуумов и величины трудностей вопросов неизвестными параметрами, подлежащими оценке по данным.

В рамках модели Раша для конкретного человека существует

определенная вероятность ответить на конкретный вопрос. Аналогично

подходу Гуттмана вводятся две величины: уровень знаний данного

испытуемого 9, и трудность данного задания 5. Вероятность того, что данный

испытуемый правильно ответит на данное задание, определяется функцией:

е

Р(правильного ответа) =

е, з

е +е (1)

Или эквивалентно:

Р(правильного ответа) = -^-¿5

Зависимость вероятности решения конкретного задания от того, какой у испытуемого уровень знаний, определяет характеристическую кривую пункта (в данном случае - теоретически).

А

Вероятность ответа 1 0.

0> 0.8Н 0.70.60.5 0.4~|

о.з-0.2-

а1о"

Вероятность правильного ответа на некоторое конкретное задание.

студент Иванов

студент Петров

Вероятность правильного ответа на другое конкретное задание.

студент Сидоров

->

Уровень знании по данной дисциплине

Рисунок 2. Характеристические кривые двух пунктов с одинаковой сложностью и разной дискриминативностью (воспроизведено из (Фер, Бакарак, 2010), с изменениями).

Сложность пункта 5 соответствует такому уровню знаний испытуемого, при котором он отвечает на пункт правильно с вероятностью 50%.

Пользуясь моделью Раша, можно по результатам тестирования выборки оценить уровень знаний каждого человека 9 и трудность каждого задания 5, причем 0 и 5 откладываются на единственной латентной шкале.

Классическая модель Раша (как и модель Гуттмана) кроме основной формулы содержит еще несколько допущений:

1. Одномерность латентного континуума. Если континуум, на котором откладываются величины уровня знаний и сложности, реально существует, то он одномерен. Модель Раша в классической формулировке не охватывает ситуаций, в которых один вопрос апеллирует сразу к двум видам знаний (политематичен), например, к знаниям по физике и по биологии.

2. Независимость ответов на вопросы. Вероятность того, что данный человек ответит на данный конкретный вопрос, не зависит от того, как он ответил на

другие вопросы. Модель Раша успешно описывает ответы на такие вопросы, где правильный ответ успешно находится по ассоциативной связи между вопросом и ответом. Так что, если, например, для правильного ответа на вопрос №5 необходимо знать правильный ответ на вопрос №3, модель Раша не сможет описать вероятности ответов, порождаемые таким, состоящим из последовательной активации двух ассоциативных связей, процессом поиска. Двухпараметрпческая модель Бирпбаума позволяет преодолеть некоторые недостатки модели Раша и строить характеристические кривые для политематичных вопросов.

Список литературы диссертационного исследования кандидат наук Иванов, Георгий Валентинович, 2015 год

Список литературы:

1. Аванесов B.C. Item Response Theory: основные понятия и положения: Статья первая // Педагогические измерения. - 2007. - №2. - С. 3-28.

2. Алёхин А.Н. Принципы метрической оценки компетентности специалистов при решении тестовых задач [Текст] / А.Н. Алёхин, Г.В. Иванов // Universum [Текст]. - СПб., 2013. - №.6- С.25-31.

3. Величковский Б.М. Когнитивная наука: основы психологии познания [Текст] / Б.М. Величковский. - М.: Смысл, 2006. - Т.2. - 432 с.

4. Гусев А.Н. Измерение в психологии [Текст] / А.Н. Гусев, Ч.А. Измайлов, М.Б. Михайлевская - М.: Смысл, 2005. - 320 с.

5. Деммель Дж. Вычислительная линейная алгебра: теория и приложения М.: Мир, 2001

6. Демченок О. Построение моделей педагогических измерений [Текст] /

О. Демченок // Педагогические измерения [Текст]. - 2012. - №2. - С.27-46.

7. Иванов Г.В. О связи между стохастической теорией тестов (Item response theory, IRT) и теорией выбора по сходству (Similarity choice model, SCM) в аспекте конструирования систем мониторинга знаний [Текст]: /

Г.В. Иванов // материалы конкурса научно-исследовательских работ студентов и аспирантов в области информатики и информационных технологий. - СПб, 2012. - С. 252-257.

8. Колсанов A.B. Виртуальные технологии в современном медицинском образовании [Текст] / A.B. Колсанов, С.С. Чаплыгин, A.C. Воронин // Вестник СамГУ [Текст]. - Самара, 2011. - №4. - С.250-254.

9. Клайн П. Справочное руководство по конструированию тестов. - Киев.: "ПАН Лтд", 1994.- 184 с.

Ю.Кричевец А.Н., Шикин Е.В., Дьячков A.B. Математика для психологов.

М.:МПСИ, Флинта, 2006. - 371 с. П.Левин К. Динамическая психология М.: "Смысл", 2001 12.Лупандин В.И. Психофизическое шкалирование [Текст] / В.И. Лупандин. -Свердловск: из-во Уральского университета, 1989. - 240 с.

И.Наследов А.Д. Математические методы психологического исследования. СПб.: "Речь", 2004. - 392 с.

14.Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов.- М.: "Прометей", 2000. - 168 с.

15.Носач В.В. Решение задач аппроксимации с помощью персональных компьютеров. М.: "Микап", 1994

16.Переверзенцева Е.С., Ушаков Д.В., Панфилова A.C. Веб-реализация адаптивного матричного теста интеллекта Бертлинга-Холлинга// в сб. "Экспериментальная психология в России: традиции и перспективы" 2006

П.Попов А.П., Попова Т.Ю., Акулов С.Ю., Цхяев Д.И. О принципиально новом направлении в теории тестирования, 2009//Электронный научно-образовательный журнал ВГПУ "Грани познания" №4,2009

18.Пономарев А. В. Виртуальное моделирование профессиональных задач в стоматологическом образовании [Текст] / A.B. Пономарев // Вестник Санкт-Петербургского Университета [Текст]. - СПб, 2011. - №11, вып. 4. -С.127-139.

19.Психофизические исследования восприятия и памяти [Текст]: сб. статей / отв. ред. и авт. введ. Ю.М. Забродин; АН СССР, Ин-т психологии. - М.: Наука, 1981.-215 с.

20.Сергеев Я.Д., Квасов Д.Е. Глобальная оптимизация и условие Липшица // В книге: «Сборник научно-популярных статей - победителей конкурса РФФИ 2008 года. Выпуск 12. Часть I. Под редакцией А.М.Желтикова. - М.: Изд-во «Октопус», 2009. - С. 19-29.

21.Соколов E.H., Терехина А.Ю., Ребрик Б.С. Геометрическая модель структуры знания.// Вопросы психологии. - 1986. - № 6. - С. 130-138.

22.Стренг Г. Линейная алгебра и ее применения М.: "Мир", 1980

23.Стивене С.С. О психофизическом законе [Текст] / С.С. Стивене // Проблемы и методы психофизики [Текст] : [сб. статей]. - М., 1974. - С. 56102.

24.Терехина А.Ю. Анализ данных методами многомерного шкалирования [Текст] / А.Ю. Терехина. - М.: Наука, 1986. - 168 с.

25.Тюрин Ю.Н., Макаров A.A. Анализ данных на компьютере М.: "Инфра-М", 2003

26.Фер P.M., Бакарак В.М. Психометрика: введение. - Челябинск: "Изд. Центр ЮУрГУ", 2010.-445 с.

27.Худяков А.И. Психология измерений [Текст] / А.И. Худяков. - СПб.: КопиР Групп, 2013.-220 с.

28.Челышкова М. Б. Разработка педагогических тестов на основе современных математических моделей. - М.: Исслед. центр, 1995. - 31 с.

29.Fischer М. CASUS: An authoring and learning tool that support diagnostic reasoning [Электронный ресурс] / M. Fischer II Zeitschrift für Hochschuldidaktik [Электронный ресурс]. -1999. - Vol.3. - P.87-98.

30.Garde S. CAMPUS. Computer-based training in medicine as part of a problem-oriented educational strategy [Текст] / S. Garde, M. Bauch, M. Haag, J. Heid, S. Huwendiek, F. Ruderich, R. Singer, F.J Leven // Studies in Learning, Evaluation Innovation and Development [Текст]. - 2005. - Vol.1. - P. 10-19.

31. Hege I. Implementation of the BIQUITOUS standard into the learning system CASUS [Текст] /1. Hege, A.A. Kononowicz, M. Pfahler, M. Adler,

M.R. Fischer // Bio-Algorithms and med-systems [Текст]. - 2009. - Vol.9. -P.51-55.

32. Julian E.R. Using computerized patient simulations to measure the clinical competence of physicians [Текст] / E.R. Julian, B.D. Wright // Applied measurement in education [Текст]. - 1988. - Vol. 1. - P.229-318.

33.McGee J.B. Designing, Developing and Implementating branched-narrative Virtual Patients for medical education? Training and assessment [Текст] / J.B. McGee // A guide for autors of virtual patients [Текст]. - 2010. - 16 p.

34.Melnick D.E. Computer-Based Clinical Simulation: State of the Art [Текст] / D.E. Melnick // Evaluation & the Health Professions [Текст]. - 1990. - Vol 13(1).-P. 104-120.

(ш) Qe^t

35.0penLabirinth 2.6 [TeKCT]:[User Guide]. - 2010. - 51 p.

36.Parker S. Ratio scale meashurement of the perceived lengths of lines [Текст] / S. Parker, B. Schneider, G. Kanow // Journal of Experimental Psychology : Human Perception and Performance [Текст]. - 1975. -Vol.2. - P. 121-129.

37.Zary N. Development, implementation and pilot evaluation of a Web-based Virtual Patient Case Simulation environment - Web-SP [Электронный ресурс] / N. Zary, G. Johnson, J. Boberg , U.GH. Fors // BMC Medical Education [Электронный ресурс]. - 2006. -Vol.6. - P. 1-17.

38.Gilmore G.C., Hersh H., Caramazza A., Griffin J. Multidimensional letter similarity derived from recognition errors.// Perception and Psychophysics. -1979. - Vol. 25. - №5. - p. 425-431.

39.Sedow H., Petzold P. Matematische Psychologie: Matematische Modellierung und Skalierung in der Psychologie. Berlin, 1981.

40.Shepard R.N. Stimulus and response generalization: a stochastic model relating generalization to distance in psychological space // Psychometrika. - 1957. - Vol. 22. -№4. - P. 325-345.

41.Shepard R.N. Toward universal law of generalization in psychological science.// Science. 1987. № 237. - P. 1317-1323.

42.Handbook of statistics. Volume 26: Psychometrics ed. by C.R. Rao, Sandip Sinharay "North Holland", 2006