Факторная модель принятия решений для тестирования способностей и компетенций тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Панфилова, Анастасия Сергеевна

• Панфилова, Анастасия Сергеевна
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Панфилова, Анастасия Сергеевна

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

1. ФАКТОРНАЯ МОДЕЛЬ ПРОЦЕССА ТЕСТИРОВАНИЯ СПОСОБНОСТЕЙ И КОМПЕТЕНЦИЙ

1.1. Основные подходы к изучению способностей

1.2. Факторные модели способностей и компетенций

Выводы

2. ПРОЦЕДУРА ПРИНЯТИЯ РЕШЕНИЙ ПРИ ТЕСТИРОВАНИИ СПОСОБНОСТЕЙ И КОМПЕТЕНЦИЙ

2.1. Традиционный подход к оценке адекватности факторных моделей

2.2. Идентификация свободных параметров факторных моделей

2.3. Использование метода Монте-Карло и самоорганизующихся карт Кохонена для оценки адекватности модели

2.4. Использование разработанной процедуры для сравнения факторных моделей

2.5. Процедура принятия решений при тестировании способностей

Выводы

3. МЕТОД УСТРАНЕНИЯ АРТЕФАКТОВ, ИСКАЖАЮЩИХ РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ

3.1. Преимущества использования фильтрации Калмана

3.2. Адаптация фильтра Калмана к процессу тестирования

3.3. Результаты применения фильтрации Калмана

Выводы

4. РАЗРАБОТКА ПРОГРАММНЫХ СРЕДСТВ ДЛЯ ЭФФЕКТИВНОГО ПРИНЯТИЯ РЕШЕНИЙ ПРИ ТЕСТИРОВАНИИ СПОСОБНОСТЕЙ И КОМПЕТЕНЦИЙ

4.1. Программное обеспечение для сбора данных

4.2. Модуль оценки адекватности исследуемых факторных моделей

4.3. Программные модули системы поддержки принятия решений при тестировании способностей и компетенций

Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

Введение диссертации (часть автореферата) на тему «Факторная модель принятия решений для тестирования способностей и компетенций»

ВВЕДЕНИЕ

Актуальность исследования

Тестирование компетенций и способностей используется в различных областях профессионального образования для оценки эффективности методов обучения и исследований, связанных с изучением особенностей восприятия, анализа и обработки информации. Внедрение технологий тестирования стимулируется ФГОСами нового поколения, которые изменяют требования к подготовке будущих специалистов. При этом в основе оценки результатов обучения лежит компетентностный подход. В связи с этим возникает необходимость создания измерительных материалов для определения уровня сформированности способностей и компетенций специалистов с целью объективной оценки их профессионального уровня и перспектив дальнейшего развития и самосовершенствования [69,84].

Компьютерное тестирование в настоящее время эффективно используется в различных областях деятельности, однако такие проблемы как:

- значительное время, которое затрачивается испытуемыми на выполнение всей необходимой последовательности заданий;

- ограниченность существующих математических моделей, используемых для интерпретации результатов тестирования;

- некорректность оценок, полученных, как правило, без учета динамики прохождения тестов;

- отсутствие приемлемых средств количественной оценки надёжности получаемых результатов и

- отсутствие средств фильтрации воздействий, обусловленных различными формами внешнего некорректного вмешательства в процедуру испытаний, —

существенно ограничивают сферу его применения. Современные технологии тестирования пытаются в той или иной степени решить эти проблемы. Большое число заданий в тестовых методиках является важным недостатком, так как требует больших временных затрат и длительной концентрации внимания и собранности испытуемых, что является основанием для разработки систем поддержки принятия решений для тестирования способностей, которые позволили бы сократить число выполняемых заданий без потери точности итоговой оценки результатов, а также учитывали динамику прохождения заданий [80,10,34].

Использование компьютерного варианта тестирования позволяет в режиме реального времени обрабатывать влияние факторов внешней среды на испытуемого во время прохождения тестирования, сравнивая наблюдаемые и прогнозируемые результаты ответов на вопросы для различных уровней способностей испытуемых. В качестве инструмента для сравнения используется фильтр Калмана - нестационарная система с обратной связью, включающая в себя как составную часть формирующий фильтр, воспроизводящий идеализированную модель поведения.

Различные аспекты исследуемой проблемы рассматривались в работах Г. Раша, Ч. Спирмена, JI. Терстона, Р. Кеттела, Т.К. Кохонена, Д.В. Ушакова, JI.C. Куравского, М.Б. Челышковой, Ю.М. Неймана, В.А. Хлебникова, В.И. Михеева, Г. Крамера, Д. Лоули, Д.А. Ульянова, А. И. Субетто, О.В. Михнева, Н.Т. Минко, А.Н. Майорова, П.Ф. Лазарсфельда, В.Н. Дружинина, Л.А. Овчарова, Д. Дёрнера, А. Анастази, А.И. Кибзуна, В.И. Васильева, A.B. Борисова, П.А. Мармалюка, Г.А. Юрьева, Сологуба Г.Б., Фоминовой Н.С. и др., послужив теоретической и методологической основой проведённой работы.

Средства системного анализа, методы принятия решений, исследования операций и нейронных сети рассматривали многие специалисты, и в частности следующие: Галушкин А.И., Хайкин С., Джарратано Дж., Тархов Д.А., Люгер Дж. и др.

Актуальность темы диссертации обусловлена необходимостью создания современных методов и программных средств для решения проблем, возникающих при проведении тестирования. Эта диссертационная работа выполнена в рамках Городской целевой программы развития образования «Столичное образование-5» (2009-2011 гг., раздел 4.3.3.4) и Государственной программы «Развитие образования города Москвы» (2012-2016 гг., мероприятие 03Д0800).

Цель работы - оптимизация управления процессом тестирования способностей и компетенций путем внедрения в практику тестирования методов и алгоритмов принятия решений, которые учитывают информацию о времени выполнения тестовых заданий и факторах внешней среды, влияющих на испытуемых, и оптимизации процедуры тестирования, позволяющей сократить число вопросов тестовой методики.

Объект исследования — процесс тестирования для оценки способностей. Предмет исследования — подходы к сокращению количества вопросов тестовых методик.

В соответствии с целью, объектом и предметом исследования были определены следующие задачи:

- разработать факторную модель для представления процесса тестирования способностей и компетенций;

- создать процедуру принятия решений при тестировании способностей и компетенций;

- разработать средства устранения влияния факторов, искажающих результаты тестирования;

- создать специализированное программное обеспечение, реализующие предложенные подходы.

Методологические основы и методы исследования. Для решения поставленных задач использовались методы математического моделирования и системного анализа [43,62,15], а также численные и статистические методы [35,57,58,32,92,93].

Научная новизна исследования заключается:

1) в математической модели, используемой для представления процесса тестирования способностей и компетенций, которая учитывает влияние генерального фактора способностей и факторов среды на наблюдаемые характеристики;

2) в процедуре принятия решений при тестировании способностей и компетенций, использующей метод Монте-Карло и возможности самоорганизующихся карт Кохонена для построения выборочных распределений расстояний до выигравших элементов с последующими вероятностными оценками степени соответствия модели наблюдениям;

3) в методе фильтрации влияния факторов внешней среды, искажающих результаты тестирования и обусловленных различными формами некорректного внешнего вмешательства в процедуру испытаний, позволяющем сократить число вопросов в тесте.

Практическая значимость диссертационной работы обусловлена возможностью использования полученных результатов при построении системы поддержки принятия решений для тестирования способностей и компетенций, позволяющей получать более надёжные оценки исследуемых характеристик за меньшее время. Разработанное программное обеспечение может быть использовано специалистами кадровых служб промышленных предприятий и учебных учреждений.

На практике разработанные подход и СППР (система поддержки принятия решений) имеют следующие качественные и количественные преимущества:

- сокращается время диагностики испытуемых;

- обеспечивается вероятностная оценка уровня способностей и компетенций испытуемых;

- обеспечивается возможность адаптации системы к существующим методам оценки способностей и компетенций.

Личный вклад автора состоит в разработке технологии моделирования, методов, алгоритмов, программных комплексов, составляющих содержание

диссертации, а также в проведении компьютерного тестирования испытуемых, сборе и обработке данных натурного эксперимента. Лично автором и при участии автора выполнена подготовка публикаций по представленной работе в ведущих рецензируемых научных журналах из перечня ВАК [51,63,64,65,66,67].

Результаты проведенного исследования позволяют сформулировать следующие положения, выносимые на защиту:

- факторная модель процесса тестирования способностей и компетенций, идентифицируемая по результатам наблюдений;

- процедура принятия решений при тестировании способностей и компетенций, основанная на применении самоорганизующихся карт Кохонена;

- средства устранения влияния факторов, искажающих результаты тестирования, построенные на базе оптимальной линейной фильтрации;

- специализированное программное обеспечение, реализующие предложенные подходы.

Достоверность и обоснованность результатов исследования

подтверждается оценкой адекватности полученных результатов наблюдениям с помощью статистических критериев согласия и успешной программной реализацией на основе полученного подхода системы поддержки принятия решений.

Апробация работы

Теоретические положения и результаты исследования были представлены и одобрены на следующих конференциях, выставках и семинарах: «Нейрокомпьютеры и их применение - 2011, -2012» (Москва, 2011, 2012), «Новые информационные технологии - 2011, -2012» (г. Судак, 2011, 2012), «Молодые учёные - столичному образованию» (Москва, 2010), «Молодые учёные - нашей новой школе» (Москва, 2011), INTERCOMP-2011(Вена, Австрия, 2011), Всероссийских выставках научно-технического творчества молодёжи «НТТМ» (Москва, 2011, 2012, 2013), Международной конференции по диагностике и технологиям предотвращения отказов оборудования (International

Conference on Condition Monitoring and Machinery Failure Prevention Technologies: Кардифф, 2011), DAGStat (Фрайбург, Германия, 2013).

Результаты этой работы отмечены премией Президента РФ по поддержке талантливой молодёжи («НТТМ-2012»); медалью «За успехи в научно-техническом творчестве» («НТТМ-2013»); дипломом I степени за лучшую научную работу, представленную на XX Международной студенческой школе-семинаре «Новые информационные технологии» (2012); дипломом за лучшую научную работу, представленную на IX всероссийской научной конференции «Нейрокомпьютеры и их применение»; почётным дипломом РАЕН за лучшую научную работу (2012).

Основные результаты исследования изложены в статьях и тезисах докладов.

Внедрение результатов исследования. Результаты исследования внедрены в учебный процесс факультета информационных технологий ГБОУ г. Москвы «Московский городской психолого-педагогический университет» и использованы при создании системы поддержки принятия решений для тестирования способностей и компетенций, разработанной в указанном университете, что подтверждено соответствующим актом в приложении 1 текста диссертации.

Личный вклад автора состоит в разработке методов, алгоритмов, программных комплексов, составляющих содержание диссертации, а также в проведении компьютерного тестирования испытуемых, сборе и обработке данных натурного эксперимента. Лично автором и при участии автора выполнена подготовка публикаций по представленной работе.

Результаты диссертации (самостоятельно и в соавторстве) представлены в 18 публикациях, включая 6 работ (пять из которых без соавторов) в ведущих рецензируемых научных журналах из перечня ВАК РФ.

Структура диссертации соответствует логике, содержанию и результатам исследования и состоит из введения, 4 глав, заключения, списка использованных источников, приложений, содержит 8 таблиц, 51 рисунок. Общий объем работы составляет 109 страниц.

Постановка задачи

В соответствии с целью, объектом и предметом исследования ставится задача разработки и программной реализации процедуры принятия решений, которая

- опирается на одну из современных факторных моделей, представляющих процесс тестирования способностей и компетенций;

- учитывает информацию о времени выполнения тестовых заданий и факторах внешней среды, влияющих на испытуемых;

- включает средства устранения факторов, искажающих результаты тестирования;

- позволяет сократить число вопросов в тестовой методике;

- включает критерии для оценки степени адекватности факторных моделей наблюдениям.

Это предполагает решение следующих подзадач:

- разработка факторной модели для представления процесса тестирования способностей и компетенций;

- разработка процедуры принятия решений при тестировании способностей и компетенций;

- разработка средств устранения влияния факторов, искажающих результаты тестирования;

- создание специализированного программного обеспечения, реализующего предложенные подходы.

Существующие технологии тестирования

В настоящее время проблема оптимизации процесса тестирования стала чрезвычайно актуальной. Повышение эффективности измерений положило начало адаптивной теории тестов [61,25,37,38,103], позволяющей уменьшить число заданий, времени, стоимости тестирования, но самое главное - повысить точность оценки психологических характеристик [71,78]. Ученые предполагали повысить возможность адаптации тестов за счет учета диапазона подготовленности испытуемых.

Не смотря на то, что основной задачей, для решения которой разрабатывалось тестирование, являлось выявление школьников, которым требуется особые условия обучения, на современном этапе тестирование используется для отбора и распределения персонала на предприятиях, начиная от оператора, рядового сотрудника до руководителей. Безусловно, при принятии на работу необходимо учитывать множество дополнительной информации об индивиде.

Классическая теория тестирования интерпретирует тест, как стандартизованную процедуру оценки уровня развития измеряемого качества согласно выявленным нормам [5,24,95]. Данные нормы устанавливаются эмпирически по репрезентативной выборке испытуемых. Для обеспечения возможности сравнения результатов и выяснения положения испытуемого относительно нормативной выборки, требуется сырые результаты перевести в относительную меру [2,31].

Измеряя значение индикатора (наблюдаемого параметра), мы можем судить о значении скрытого параметра, с которым он связан. По величине индикатора мы можно сделать вывод об уровне знаний, соответствующих данному заданию методики [26,56].

Однако построить адекватную модель тестирования компетентностей или способностей с привлечением только классической теории тестов сложно, так как уровень способности и трудность тестовых заданий имеют разные метрики.

Для преодоления недостатков классической теории тестов была создана стохастическая теория тестов, опирающаяся на теорию измерений - Item Response Theory (IRT). Согласно данному подходу испытуемых можно расположить на оси «способность — трудность». В качестве латентного параметра выбирается уровень способности. Таким образом, индивидууму можно сопоставить единственное значение латентного параметра. Модель IRT предполагает оценку вероятности верного ответа испытуемого, которая в общем случае зависит от множества характеристик, но в модели IRT предполагает одномерный случай. Модели, учитывающие дополнительные параметры были разработаны А.

Бирнбаумом и называются, соответственно, двухпараметрической и трехпараметрической. [91]

Классическая теория тестирования предполагает, что уровень измеряемого свойства является постоянным. В теории тестов IRT данный параметр трактуется как непрерывная переменная. Начальное значение параметра получается непосредственно из эмпирических данных тестирования. Переменный характер измеряемой величины указывает на возможность последовательного приближения к объективным оценкам параметра с помощью различных итерационных методов. Данные, которые не укладываются в модель -исключаются.

Данная теория также не предполагает оценку эмпирической валидности и надежности методики, тест соотносится с определенным свойством, т.е. считается валидным.

Г. Раш предложил модель латентной дистанции, в которой полагается оценивать разность между уровнем способности и трудностью теста. Полученная величина отражает возможность испытуемого выполнить задание. Если разность принимает отрицательное значение и достаточно велика, то данное задание является слишком сложным для испытуемого. Если разность положительная и достаточно велика, то данное задание является неинформативным, так как является слишком легким [91,96,104]. Согласно модели Г. Раша необходимо построить характеристическую функцию испытуемого и задания. Считается, что латентные параметры нормально распределены, следовательно, в качестве характеристической функции можно выбрать логистическую или интегральную.

Однопараметрическая модель предполагает, что у испытуемого с лучшей подготовкой больше шансов ответь верно, чем у более слабого испытуемого. Данная зависимость представляется в виде графика логистической функции на рис. 1, отражающей вероятность решить задание в зависимости от способности тестируемого. Средний уровень способности полагается равным нулю.

Рис. 1. Характеристическая кривая задания в модели

Основные допущения ЖТ состоят в следующем:

1) уровень подготовленность испытуемого и уровень трудности задания являются скрытыми (латентными) параметрами;

2) индикаторные переменные, связанные с латентными параметрами, доступны для наблюдения и измерения, значениям индикаторных переменных отражают значения латентных параметров;

3) измеряемый латентный параметр должен быть одномерным, т.е. тестовая методика должна измерять знания только одной предметной области.

Безусловно, возможности Ш.Т значительно снижаются при необходимости создания теста общих способностей.

В рамках классической теории педагогических измерений, оценки уровня трудности заданий зависят от уровня подготовленности группы. Чем лучше подготовлена тестируемая группа, тем выше доля (процент) правильных ответов на задание, тем легче оказывается задание. И, наоборот, в слабой группе испытуемых процент выполнения заданий заметно ниже.

К наиболее значимым преимуществам ШТ обычно относят следующие [102,105,106]:

- Устойчивость и объективность оценок параметра, характеризующего уровень подготовки испытуемых. Источником этой устойчивости является

относительная устойчивость оценок способностей (знаний) испытуемых от трудности заданий теста.

- Устойчивость и объективность оценок параметра трудности задания, их независимость от свойств выборки испытуемых, выполняющих тест.

- Возможность измерения значений параметров испытуемых и заданий тестов в одной и той же шкале, имеющей свойства интервальной. Это свойство важно потому, что преобразование исходных величин разного происхождения в одну исходную шкалу позволяет соотнести уровень знаний любого испытуемого с мерой трудности каждого из заданий теста.

Предполагается, что наблюдаемые значения являются результатом взаимодействия двух множеств латентных параметров. Первое множество составляют значения латентного параметра, который определяет уровень подготовленности испытуемых 0/, где / - номер испытуемого, изменяющийся в интервале от 1 до (2 (<2 - количество испытуемых). Второе множество составляют значения латентного параметра, характеризующего трудность у'-го задания /?у. Индекс у меняется в пределах от 1 до М, где М - количество заданий в тесте (см. Рис. 2).

Георг Раш предположил, что уровень подготовленности испытуемого в-, и уровень трудности задания могут быть размещены на одной шкале и измеряются в одних и тех же единицах [88].

Отличительной особенностью модели Г. Раша является использование понятия логита как меры трудности и уровня подготовленности испытуемого. Г. Раш ввел две меры: «логит уровня знаний» и «логит уровня трудности задания». Единая логарифмическая шкала позволяет установить требуемое соответствие между уровнем обученности и трудностью задания и произвести коррекцию результатов тестирования.

Трудность заданий

ж к

£ х о 3> о н

^ Я о и а о

л х

X и оа о

¡5"

е.

е.,

Р, Р

I

Л

Рис.2. Взаимодействие скрытых параметров Согласно модели Г. Раша:

- «логит уровня знаний» - натуральный логарифм отношения доли правильных ответов испытуемого на все задания теста, к доле неправильных ответов;

- «логит уровня трудности задания» - натуральный логарифм отношения доли неправильных ответов на задание теста к доле правильных ответов на это задание по множеству испытуемых.

Модель ШТ позволяет решать задачу создания адаптивных тестов способностей, особенностью которых является отсутствие заранее определенной последовательности заданий. Сложность каждого следующего задания зависит от предыдущих ответов тестируемого, система тестирования стремится подбирать такие вопросы, вероятность ответа на которые составляет 0,5. Согласно последним исследованиям, адаптивная технология тестирования имеет свои недостатки, среди которых можно выделить повышенное напряжение во время решения заданий, так как задания, предъявляемые испытуемому находятся на максимуме его возможностей. Данный факт повышает тревожность, искажающую результаты тестирования. Таким образом, помимо измерения уровня способности испытуемых, данный подход также оценивает уровень выносливости тестируемого. Согласно исследованиям, уровень тревожности находится в обратной пропорциональной зависимости от результатов тестирования.

В задачах оценки способностей и оптимизации порядка предъявления заданий теста, а так же самих тестов наблюдается сильная тенденция к применению новых математических моделей, от их структуры и глубины проработки математического аппарата зависит качество и надёжность тестирования всё более глубоко входящего в нашу жизнь.

Часто исследователи используют различные методы вероятностного вывода, что обеспечивает более точную, количественную оценку уровня способностей и как следствие лучшую дифференциацию испытуемых. Один из методов, используемых в исследованиях других авторов, связан с применением аппарата марковских моделей. Например, среди последних работ можно отметить подход, использующий марковские модели в ряде практических приложений, связанных с дистанционным обучением [78], и обеспечение работы механизма адаптации именно в условиях такого обучения, при этом структура и форма представления используемых моделей обладает относительно низкой гибкостью в смысле отражения динамики решения заданий теста и оценки его результатов. Использование аппарата марковских цепей представляет модернизацию известной модели Бирнбаума. Исследователи применили корреляционный анализ для определения взаимосвязи в последовательностях ответов испытуемых, что послужило отправной точкой для дальнейших исследований. Разработан ряд математических моделей, использующих для описания процесса тестирования марковские процессы с дискретными состояниями и непрерывным временем [52,54,55,49]. Модель процесса тестирования с использованием марковских цепей представлена на рис. 3.

А-з" Л-к-1 Хк \п-1

Рис.3. Модель процесса тестирования с использование аппарата марковских

цепей

В подобных моделях под состояниями понимается ситуация решения испытуемым задачи из заданного диапазона сложности, которая оценивается одним из доступных способов, например, с использованием логит преобразования. Таким образом, интенсивности переходов определяют динамику решения задач для некоторой группы испытуемых. Данные получаемые в процессе тестирования используются для реализации вероятностного вывода оценок различных уровней способности [100,50].

Это подход обеспечивает большую гибкость в адаптации под различные схемы тестирования и, в целом, приводит к интенсификации процесса оценки знаний и способностей, но не лишён недостатков, связанных с адаптивной составляющей. Описанные механизмы подразумевают ряд ограничений, налагаемых на порядок предъявления тестовых заданий. Также достаточно строгие требования предъявляются к структуре выборочных данных, используемых для настройки таких моделей. Недостатком данного подхода является то, что данный способ представления процесса тестирования не позволяет отразить структуру измеряемых способностей и учитывать влияние генерального фактора способностей на наблюдаемые параметры.

Основная идея разработанного подхода

Предлагается использование адаптивной динамической фильтрации Калмана [7,75] для борьбы с шумами в ответах на вопросы и остановки процесса тестирования на минимальном количестве тестовых вопросов согласно разработанному критерию. Процесс фильтрации предполагает построение моделей прогноза ответов испытуемого, количество которых зависит от числа оцениваемых уровней развития способностей. Для построения моделей прогноза в фильтре Калмана используются нагрузки разработанной факторной модели, которые оцениваются по результатам массовых полных тестов для всех уровней, предполагаемых данной методикой тестирования.

Структура факторной модели процесса тестирования определяется по предварительному анализу существующих подходов, описывающих структуру

способностей и компетенций и их сравнению с использованием разработанной процедуры, предполагающей применение метода Монте-Карло и возможностей самоорганизующихся карт Кохонена [42,99].

В процессе ответов на вопросы тестовой методики выстраивается потенциальный процесс для конкретного испытуемого, предполагающий логику ответов по каждому из оцениваемых уровней способностей и компетенций, который завершается, когда текущие ответы максимальным образом приблизятся к одной из моделей прогноза. Структура разработанного подхода представлена на рис. 4.

Рис. 4. Структура нового подхода к оценке способностей и компетенций На первом этапе предполагается адаптация системы к тестовой методике. Алгоритм представлен на рис. 5.

Проведение тестирования испытуемых по всей вопросам методики

Эталон

Определение результатов по группе 1

Идентификация факторной модели

Генерация Монте-Карло

Определение результатов по группе 2

Идентификация факторной модели

Генерация Монте- { Карло *

Определение результатов по группе дт„

Идентификация факторной модели

Генерация Монте-Карло

Список литературы диссертационного исследования кандидат наук Панфилова, Анастасия Сергеевна, 2014 год

СПИСОК ЛИТЕРАТУРЫ

1. Аванесов, В. С. Научные проблемы тестового контроля знаний: монография / В. С. Аванесов. — М.: Исследовательский центр проблем качества подготовки специалистов, 1994. 135 с.

2. Аванесов, В. С. Педагогическое измерение латентных качеств / В. С. Аванесов. — Педагогическая диагностика, 2003. — №4. — С. 69-78.

3. Айвазян, С. А. Прикладная статистика. Основы эконометрики: учебник для вузов. В 2 т. Т. 1. Теория вероятностей и прикладная статистика Текст./ С. А. Айвазян, В. С. Мхитрян. 2-е изд., испр. — М.: ЮНИТИ-ДАНА, 2001.

— 656 с.

4. Акимова, М. К. Психологическая диагностика / М. К. Акимова. — СПб.: Питер, 2005. — 303 с.

5. Анастази, А. Психологическое тестирование / А. Анастази, С. Урбина.

— СПб.: Питер, 2001.

6. Асмолов, А. Г. Психология личности: Принципы общего анализа. — М.: Смысл, 2001.— 416 с.

7. Афанасьев, В. Н. Оптимальные системы управления. Аналитическое конструирование / В. Н. Афанасьев. — М.: Изд-во физического факультета МГУ, 2011.

8. Белоус, И. В. Методы математической статистики для анализа тестовых результатов / И. В. Белоус, С. А. Пархоменко // Вестник ХГТУ №1 (14), 2002. —С. 544-545.

9. Бендат, Дж. Прикладной анализ случайных данных / Дж. Бендат, А. Пирсол. — М.: Мир, 1989.

10. Болотов В. А., Шмелев А. Г. Развитие инструментальных технологий контроля качества образования: стандарты профессионализма и парадоксы роста / В. А. Болотов, А. Г. Шмелев // Высшее образование сегодня, 2005. — № 4. — С. 16-21.

11. Боровиков, В. П. Нейронные сети. Statistica Neural Networks. Методология и технологии современного анализа данных / В. П. Боровиков. — М.: Горячая линия-Телеком, 2008. — 367с.

12. Бурлачук, J1. Ф. Психодиагностика / JI. Ф. Бурлачук. — СПб.: Питер, 2008. — 384 с.

13. Венецкий, И. Г. Основы теории вероятностей и математической статистики: учебное пособие для вузов / И. Г. Венецкий, Г. С. Кильдишев. — М. : Статистика, 1968.

14. Вентцель, Е. С. Теория вероятностей (5-е изд. стер.) / Е. С. Вентцель. — М.: Высшая школа, 1998. — 576 с .

15. Воронов, М. В. Моделирование слабоструктурированных проблем / М. В. Воронов. — М.: Изд-во СГУ, 2010. — 332 с.

16. Галушкин, А. И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Т.1 / А. И. Галушкин. — М.: Горячая линия-Телеком, 2004. — 367с. — (Серия: Нейрокомпьютеры и их применение. Вып. 12).

17. Галушкин, А. И. Нейрокомпьютеры и их применение на рубеже тысячелетий в Китае. В 2-х томах. Т.2 / А. И. Галушкин. — М.: Горячая линия-Телеком, 2004. — 464с. — (Серия: Нейрокомпьютеры и их применение. Вып. 12).

18. Галушкин, А.И. Нейронные сети. Основы теории / А. И. Галушкин. — М.: Горячая линия-Телеком, 2010.

19. Галушкин, А. И. Нейронные сети: история развития теории: Учебное пособие для вузов / А. И. Галушкин. — М.:ИПРЖР, 2001. — 840с. — (Нейрокомпьютеры и их применение. Кн.5).

20. Галушкин, А. И. Теория нейронных сетей: Учебное пособие для вузов / А. И. Галушкин. — М.:ИПРЖР, 2000. — 416с. — (Нейрокомпьютеры и их применение. Кн. 1).

21. Гласс, Дж. Статистические методы в педагогике и психологии / Дж. Гласс, Дж. Стэнли. — М.: Прогресс, 1976. — 496 с.

22. Гмурман, В. Е. Теория вероятностей и математическая статистика / В. Е. Гмурман. — М.: Высшая школа, 2003. — 479 с.

23. Головко, В. А. Нейронные сети: обучение, организация и применение / В. А. Головко. - Учеб.пособие. — М.: ИПРЖР, 2001.

24. Гулидов, И. Н. Педагогический контроль и его обеспечение: учеб.пособие / И. Н. Гулидов. — М: Форум, 2005. —240 с.

25. Гуревич, К. М. Психологическая диагностика и проблема индивидуальных различий / К. М. Гуревич // Психологический журнал. Том 19, 1998,—№3.

26. Гуц, А. К. Математические методы в социологии, Серия: Синергетика: от прошлого к будущему / А. К. Гуц, Ю. В. Фролова. — Изд. «УРСС», 2007.

27. Давыдова, Л. А. Статистика: Все формулы / Л. А. Давыдова. — М.: ТК Велби, 2005. — 24 с.

28. Джарратано, Дж. Экспертные системы: принципы разработки и программирование. Текст / Дж. Джаратано, Г. Райли. — М.: Вильяме. 2007.1152 с.

29. Джексон, П. Введение в экспертные системы: Учеб.пособие /П. Джексон. — М.: Издательский дом «Вильяме», 2001.

30. Джонс, М. Т. Программирование искусственного интеллекта в приложениях / М. Т. Джонс. — М.: ДМК Пресс, 2004.

31. Дружинин, В. Н. Экспериментальная психология / В. Н. Дружинин. — СПб: Издательство «Питер», 2000.

32. Дубров, А. М. Многомерные статистические методы Текст.: учебник / А. М. Дубров, В. С. Мхитрян, Л. И. Трошин. — М.: Финансы и статистика, 2000. -— 352 с.

33. Елисеева, И. И. Общая теория статистики / И. И. Елисеева, М. М. Юзбашев. — М.: Финансы и статистика, 1999. — 480 с.

34. Ефремова, Н. Ф. Педагогические измерения в системе образования / Н. Ф. Ефремова, В. И. Звонников, М. Б. Челышкова // Педагогика, 2006. —№ 2.

35. Заде, А. Основы нового подхода к анализу сложных систем и процессов принятия решений Текст. / А. Заде // Математика сегодня. — М., 1974.

36. Калан, Р. Основные концепции нейронных сетей / Р. Калан. — М.: Вильяме, 2001.—287 с.

37. Карданова, Е. Ю. Моделирование и параметризация тестов: основы теории и приложения / Е. Ю. Карданова. — ФГУ «Федеральный центр тестирования», 2008.

38. Кирий, В. Г. Применение марковской модели для оценки уровня знаний при адаптивном тестировании / В. Г. Кирий, Д. А. Ульянов // Вестник Ир-ГТУ. Иркутск, 2004. — №3 (19). — С. 21-26.

39. Кнут, Д. Искусство программирования для ЭВМ.Т1. Основные алгоритмы / Д. Кнут. — М.: Мир, 1978.

40. Кобзарь, А. И. Прикладная математическая статистика / А. И. Кобзарь. — М.: Физматлит, 2006.

41. Колемаев, В. А. Теория вероятностей и математическая статистика. Учеб. пособие для экон. спец. Вузов / В. А. Колемаев. — М.: Высшая школа, 1991.

42. Кохонен, Т. Самоорганизующиеся карты / Т. Кохонен ; пер. 3-го англ. изд. — М.: БИНОМ. Лаборатория знаний, 2012. — 655 с.

43. Крамер, Г. Математические методы статистики / Г. Крамер. — М.: Мир, 1976. —648 с.

44. Круглов, В. В. Искусственные нейронные сети. Теория и практика / В.

B. Круглов. — М.: Горячая линия - Телеком, 2001. — 382 с.

45. Куравский, Л. С. Применение фильтра Калмана для фильтрации артефактов при адаптивном тестировании / Л. С. Куравский, Г. А. Юрьев // Информационные технологии. 2012. — №4. — С. 63 - 69.

46. Куравский, Л. С. Об одном подходе к адаптивному тестированию / Л.

C. Куравский, Г. А. Юрьев //Современная экспериментальная психология в 2 т. / Под ред. В. А. Барабанщикова. — М.: Институт психологии РАН, 2011. — т.1. — с. 233

47. Куравский, Л. С. Компьютерное моделирование и анализ данных. Конспекты лекций и упражнения: Учеб. пособие / Л. С. Куравский, С. Н. Баранов. — М.: РУСАВИА, 2009.—218 с.

48. Куравский, Л. С. Нейронные сети в задачах прогнозирования, диагностики и анализа данных: Учеб. пособие / Л. С. Куравский, С. Н. Баранов, С. Б. Малых. — М.: РУСАВИА, 2003. — 100 с.

49. Куравский, Л. С. Концепция системы поддержки принятия решений для психологического тестирования / Л. С. Куравский, А. А. Марголис, Г. А. Юрьев // Психологическая наука и образование, 2012. — №1. — С. 56-65.

50. Куравский, Л. С. Применение обучаемых структур для анализа результатов компьютерного тестирования / Л. С. Куравский, П. А. Мармалюк, В. И. Алхимов, Г. А. Юрьев // Нейрокомпьютеры: разработка и применение, 2013. — №4. —С. 18-27.

51. Куравский, Л. С. Исследование факторных влияний на развитие психологических характеристик с применением нового подхода к оценке адекватности моделей наблюдениям / Л. С. Куравский, Д. В. Ушаков, П. А. Мармалюк, А. С. Панфилова. — Информационные технологии, 2011. — №11. — С. 67-77.

52. Куравский, Л. С. Адаптивное тестирование как марковский процесс: модели и их идентификация / Л. С. Куравский, Г. А. Юрьев. — Нейрокомпьютеры: разработка и применение, 2011. — №2. — С. 21-29.

53. Куравский, Л. С. Вероятностный метод фильтрации артефактов при адаптивном тестировании / Л. С. Куравский, Г. А. Юрьев // Экспериментальная психология, 2012. — № 1. - С. 119-131

54. Куравский, Л. С. Использование марковских моделей при обработке результатов тестирования / Л. С. Куравский, Г. А. Юрьев. — Вопросы психологии, 2011. — №2. — с. 98-107.

55. Куравский, Л. С. Марковские модели адаптивного тестирования / Л. С. Куравский, Г. А. Юрьев // Моделирование и анализ данных, 2011. — №1. - С. 28-40

56. Лазарсфельд, П. Ф. Измерение в социологии / П. Ф. Лазарсфельд // Американская социология. — М.: Прогресс, 1972.

57. Лазарсфельд, П.Ф. Латентно-структурный анализ и теория тестов / П. Ф. Лазарсфельд // Математические методы в социальных науках. — М.: Прогресс, 1973, —С. 42-54.

58. Лоули, Д. Факторный анализ как статистический метод / Д. Лоули, А. Максвелл. — М.: Мир, 1967.

59. Люгер, Дж. Ф. Искусственный интеллект: стратегии и методы решения сложных проблем, 4-е издание.: Пер. с англ / Дж. Ф. Люгер. — М.: Издательский дом «Вильяме», 2003.

60. Мешкова, Т. А. Психогенетика: Учебное пособие для студентов / Т. А. Мешкова. — М.: МГППУ, 2004. — 368 с.

61. Минко, Н. Т. Педагогическое сопровождение компьютерного адаптивного тестирования в контексте персонального образования: дисс.канд. пед. Наук / Н. Т. Минко. — Улан-Удэ, 2010.

62. Михеев, О. В. Математические модели педагогических измерений / О. В. Михеев // Педагогические измерения, 2004. — №2. — С.75-88.

63. Панфилова, А. С. Подход к тестированию интеллектуальных способностей и устранению артефактов / А. С. Панфилова // Психологическая наука и образование. 2013. — №3. — С.54 - 66.

64. Панфилова, А. С. Особенности программной реализации системы поддержки принятия решений для тестирования интеллекта / А. С. Панфилова // Нейрокомпьютеры: разработка, применение. 2013. — №9. — С.20 — 26.

65. Панфилова, А. С. Система тестирования интеллекта на базе факторных моделей и самоорганизующихся карт Кохонена / А. С. Панфилова // Нейрокомпьютеры: разработка, применение, 2012. —№9. — С.6 — 12.

66. Панфилова, А. С. Концепция системы поддержки принятия решений при тестировании интеллекта / А. С. Панфилова // Психологическая наука и образование, 2012. — №5. — С.58—66.

67. Панфилова, А. С. Применение самоорганизующихся карт Кохонена и метода Монте-Карло для исследования адекватности факторных моделей интеллекта / А. С. Панфилова // Психологическая наука и образование, 2011. — №5. —С.88—98.

68. Равен, Д. Руководство к Прогрессивным Матрицам Равена и Словарным шкалам. Раздел 1. Общая часть руководства / Д. Равен, Дж. X. Курт. — М.: Когито-Центр, 1997.

69. Равен, Д. Педагогическое тестирование: проблемы, заблуждения, перспективы / Пер.с англ / Д. Равен. — М.: «Когито-Центр», 2001. - 144 с.

70. Сологуб, Г.Б. Разработка математических методов и комплекса программных средств имитационного тестирования знаний на основе семантических моделей//ВАК

71. Субетто, А. И. Качество образования: проблемы оценки и мониторинга / А. И. Субетто // Стандарты и качество, 2000. — № 2. — С. 62-66.

72. Суранов, А. Я. LabVIEW 8.20. Справочник по функциям / А. Я. Суранов. — Санкт-Петербург, ДМК Пресс, 2007. — 536 с.

73. Тарасенко, Ф. П. Прикладной системный анализ (Наука и искусство решения проблем) / Ф. П. Тарасенко. — Томск: Изд-во Томского Ун-та, 2004. — 186 с.

74. Тархов, Д. А. Нейронные сети. Модели и алгоритмы. Кн. 18 / Д. А. Тархов. —М.: Радиотехника, 2005. — 256 с.

75. Тихонов В. И. Случайные процессы. Примеры и задачи. /Т.5. Оценка сигналов, их параметров и спектров. Основы теории информации / В. И. Тихонов, Б. И. Шахтарин, В. В. Сизых. —М.: Горячая линия-Телеком, 2009. - 400 с.

76. Тревис, Дж. LabVIEW для всех / Дж. Тревис, Дж. Кринг. — М.: Изд. ПриборКомплект, 2008. — 880 с.

77. Тюменева, Ю. А. Психологическое измерение / Ю. А. Тюменева. — М.: Аспект-Пресс, 2007.

78. Ульянов, Д. А. Марковская модель адаптивного тестирования и ее программная реализация в условиях дистанционного обучения//ВАК

79. Ушаков, Д. В. Цена интеллекта: от психологических категорий к экономическим / Д. В. Ушаков, А. Г. Лобанов. Психологическая наука и образование, 2009. — №4. — с. 64-74.

80. Фоминова, Н.С. Разработка и анализ стохастической и аппроксимационной моделей адаптивного тестирования для информационно-управляющих систем//ВАК

81. Хайкин, С. Нейронные сети: полный курс. 2-е издание: Пер. с англ. / С. Хайкин. — М.: Вильяме, 2006. — 1104 с.

82. Халафян, A. A. STATISTICA 6. Статистический анализ данных. 3-е изд. Учебник / А. А. Халафян — М.: ООО «Бином-Пресс», 2008. — 512 с.

83. Черноруцкий, И. Г. Методы принятия решений / И. Г. Черноруцкий.

— СПб.: БХВ-Петербург, 2005. — 416 с.

84. Шадриков, В. Д. Информационные технологии в образовании: плюсы и минусы / В. Д. Шадриков, И. С. Шеремет // Высшее образование в России. 2009.

— № 11.—С. 61-65.

85. Шахтарин, Б. И. Случайные процессы в радиотехнике. /Т.1. Линейные преобразования / Б. И. Шахтарин. — М.: Горячая линия-Телеком, 2010. - 520 с.

86. Шахтарин, Б. И. Фильтры Винера и Калмана / Б. И. Шахтарин. — М.: Гелиос АРВ, 2008. — 408 с.

87. Шелест, В. Д. Программирование / В. Д. Шелест. — СПб.: БХВ-Петербург, 2002.

88. Шмелев, А. Г. Основы психодиагностики / А. Г. Шмелев. — М., Ростов-на-Дону: Феникс, 1996.

89. Юл, Дж. Теория статистики / Дж. Юл, М. Кендалл. — М.: 1960.

90. Юрьев, Г. А. Математическая модель интерпретации результатов компьютерного тестирования с использованием марковских сетей//ВАК

91. Baker, F. В. The Basics of Item Response Theory / F. B. Baker. ERIC Clearinghouse on Assessment and Evaluation, University of Maryland, College Park, MD, 2001.

92. Bishop, Y. M. Discrete multivariate analysis: Theory and practice / Y. M. Bishop, S. E. Fienberg, P. W. Holland. — Cambridge, MA, M IT Press, 1975.

93. Bollen, K. A. Structural equations with latent variables / K. A. Bollen. — New York, John Wiley, 1989.

94. Dodonova, Y. A. Faster on easy items, more accurate on difficult ones: Cognitive ability and performance on a task of varying difficulty / Y. A. Dodonova, Y. S. Dodonov. — Intelligence, 41(1), 2013. — pp. 1-10.

95. Dodonov, Y. S. Response time analysis in cognitive tasks with increasing difficulty / Y. A. Dodonova, Y. S. Dodonov. — Intelligence, 40(5), 2012. — pp. 379394.

96. Gregory, R. J. Psychological testing: History, principles, and applications (5th edition) / R. J. Gregory. — New York: Pearson, 2007.

97. Gulliksen, H. Theory of Mental Tests / H. Gulliksen. — John Wiley & Sons Inc, 1950.

98. Hastie, T. The Elements of Statistical Learning: Data mining, inference, and prediction / T. Hastie, R. Tibshirani, J. Friedman. — New York: Springer, 2001. — 533 p.

99. Kohonen, T. Learning Vector Quantization / T. Kohonen. — Neural Networks, 1988. — 303 pp.

100. Kuravsky, L. S. Synthesis and identification of hidden Markov models based on a novel statistical technique in condition monitoring / L. S. Kuravsky, S. N. Baranov, G. A. Yuryev. - In: Proc. 7th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies, Stratford-upon-Avon, England, June 2010. — 23 pp.

101. Kuravsky, L. S. Estimation of goodness-of-fit measures for identification of unrestricted factor models employing arbitrarily distributed observed data / L. S. Kuravsky, P. A. Marmalyuk, A. S. Panfilova. — In: Proc. 8th International Conference on Condition Monitoring & Machinery Failure Prevention Technologies, Cardiff, UK, June 2011. — 19 pp.

102. Linacre, J. M. (1998). BIGSTEPS: Rasch-model computer programs / J. M. Linacre, B. D. Wright. — Chicago, IL: Mesa Press.

103. Mills, C. N. (1996). Practical issues in large-scale computerized adaptive testing / C. N. Mills, M. L. Stocking. Applied Measurement in Education, 9(4), 287394.

104. Rasch, G. Probabilistic models for some intelligence and attainment tests / G. Rasch // Copenhagen, Danish Institute for Educational Research, expanded edition (1980) with foreword and afterword by B.D. Wright. — Chicago: TheUniversityofChicagoPress, 1960/1980.

105. Wright, B. D. Rating scale analysis. Rasch measurements / B. D. Wright, G. N. Masters. — Chicago: MESA Press, 1982.

106. Wright, B. D. Best Test Design / B.D. Wright, M.N. Stone. — Chicago: MESA Press, 1979.