Обработка экспертной информации при отборе экспертов в научно-технической сфере тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Путивцева, Наталья Павловна

• Путивцева, Наталья Павловна
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Путивцева, Наталья Павловна

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. Экспертное оценивание объектов техники. Отбор экспертов. Состояние вопроса и постановка задач исследования

1.1 Процедура экспертного оценивания объектов техники

1.2 Процедуры решения слабоструктурированных проблем на основе парных сравнений

1.3 Иерархический метод парных сравнений в форме Саати (МАИ)

1.4 Задачи исследования

ГЛАВА 2. Разработка метода получения и обработки информации на основе парных сравнений при оценивании подготовленности эксперта

2.1 Принцип оценивания уровня профессиональных знаний экспертов

2.2 Иерархическая процедура получения и обработки экспертной информации при оценивании знаний

2.3 Меры близости с эталонными весомостями и интегральная шкала бальных оценок

2.4 Основные результаты и выводы главы

ГЛАВА 3. Разработка алгоритмов получения и обработки экспертной информации

без предварительного формирования шкал суждений

3.1 Алгоритм получения и обработки экспертных оценок без предварительного формирования шкал экспертных суждений

3.2 Программно-алгоритмическая реализация иерархической процедуры обработки экспертной информации

3.3 Проведение вычислительных экспериментов

3.4 Основные результаты и выводы главы

ГЛАВА 4. Программная поддержка получения и обработки экспертной информации при оценивании знаний

4.1 Концептуальные основы построения программной поддержки

4.2 Описание интерфейса

4.3 Апробация разработанных процедур оценивания знаний на примере сферы ИКТ

4.4 Основные результаты и выводы главы

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЕ А

ПРИЛОЖЕНИЕ Б

ПРИЛОЖЕНИЕ В

ПРИЛОЖЕНИЕ Г

ПРИЛОЖЕНИЕ Д

ПРИЛОЖЕНИЕ Е

ПРИЛОЖЕНИЕ Ж

ПРИЛОЖЕНИЕ 3

ПРИЛОЖЕНИЕ И

Введение диссертации (часть автореферата) на тему «Обработка экспертной информации при отборе экспертов в научно-технической сфере»

ВВЕДЕНИЕ

Актуальность работы.

Системный анализ сложных технических объектов не может быть основан только на информации, полученной при помощи измерительных приборов, и часто реализуется с привлечением экспертной информации, отражающей опыт и интуицию специалистов.

Получение и обработка экспертной информации являются важными процедурами системного анализа и управления в научно-технической сфере, успешность применения которых существенно зависит от уровня профессиональных знаний участвующих в них специалистов (экспертов).

Проблемы организации получения, анализа и обработки экспертной информации и вопросы оценивания квалификации экспертов рассмотрены в работах многих зарубежных и отечественных ученых. В основе предлагаемых процедур, как правило, используются тестовые методы, а оценивание уровня знаний одних специалистов осуществляется другими, которые в этом контексте образуют группу эталонных экспертов (иерархия экспертов). Следует отметить, что применяемые в настоящее время тестовые процедуры в недостаточной мере отражают системность знаний профессиональной сферы. Вместе с тем профессиональную деятельность в научно-технической сфере можно представить несколькими аспектами, которые имеют различную важность для специалистов отдельных специализаций в рамках одной профессиональной группы. Поэтому для оценивания уровня профессиональных знаний экспертов целесообразно использовать многокритериальное иерархическое оценивание, позволяющее выявить их целостность и системность.

Таким образом, совершенствование на основе системного подхода процедур оценивания уровня профессиональных знаний экспертов в научно-технической сфере является актуальной задачей.

Предлагаемый подход заключается в том, что процедура системного тестового оценивания уровня профессиональных знаний экспертов в научно-

3

технической сфере должна быть построена таким образом, чтобы в результате ее применений выявлялись способности испытуемых к адекватному отражению степени полноты возможных описаний характеристик одного и того же технического объекта с заданной точки зрения. Для этого целесообразно воспользоваться идеологией экспертных процедур парных сравнений с комплексированием результатов на основе учета иерархичности и весомостей с точки зрения специализаций испытуемых (иерархическое многокритериальное экспертное оценивание). При этом выносить суждение об уровне профессиональных знаний экспертов следует на основе сравнений с эталоном, который заранее формируется с привлечением «эталонных» специалистов из соответствующей

профессиональной сферы.

Целью данной работы является совершенствование процедур отбора экспертов, привлекаемых для оценивания объектов техники, на основе разработки системных методов получения и обработки информации об уровне их профессиональных знаний, который сравнивается с формируемым заранее эталонном.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

1. Разработка метода системного оценивания уровня профессиональных знаний экспертов, привлекаемых для анализа объектов в научно-технической сфере, на основе получения и обработки экспертной информации с применением парных сравнений.

2. Разработка алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов.

3. Разработка программной реализации алгоритмов получения и обработки информации при оценивании уровня профессиональных знаний привлекаемых экспертов.

4. Апробация разработанного метода и алгоритмов оценивания профессиональных знаний привлекаемых экспертов на примере сферы информационно-коммуникационных технологий.

Методы исследований:

- Методы системного анализа;

- Модели отбора и обработки экспертной информации;

- Методы парных сравнений;

- Методы статистической обработки эмпирической информации;

- Компьютерное моделирование.

Научную новизну работы составляет следующее:

1. Метод получения и обработки экспертной информации при отборе экспертов в научно-технической сфере, включая:

1.1. новый принцип оценивания уровня профессиональных знаний экспертов на основе проверки их способности к упорядочиванию в виде вычисляемых весомостей предъявляемых описаний характеристик анализируемых объектов по степени их полноты с заданной точки зрения (направления профессиональных знаний);

1.2. иерархическую процедуру получения и обработки на основе парных сравнений информации о знаниях испытуемых с вычислениями весомостей сравниваемых описаний характеристик анализируемых объектов;

1.3. способ формирования эталонного уровня профессиональных знаний в виде упорядочивания весомостей сравниваемых описаний характеристик анализируемых объектов с привлечением «эталонных» экспертов;

1.4. способ оценивания уровня профессиональных знаний экспертов на основе разработанных мер близости с полученным ранее эталонным упорядочиванием весомостей и градаций результирующих оценок.

2. Алгоритмы получения и обработки экспертной информации в методе парных сравнений без предварительного формирования шкал экспертных суждений, что позволяет повысить гибкость процедур экспертного оценивания за счет отсутствия фиксации количества градаций суждений и выражаемых ими силы превосходств/проигрышей сравниваемых объектов.

Практическая значимость работы определяется тем, что реализация предложенных процедур получения и обработки испытательной информации позволяет повысить обоснованность принятия решений при отборе экспертов, привлекаемых для оценивания объектов техники. Разработан комплекс программных средств, реализующих процедуру оценивания уровня профессиональных знаний в сфере техники, который применяется в ООО «Матрица» при аттестации специалистов по программированию и конфигурированию в системе 1С: Предприятие 8.2, что подтверждается соответствующим актом.

Положения, выносимые на защиту:

1. Метод получения и обработки экспертной информации при определении уровня профессиональных знаний экспертов, привлекаемых для оценивания объектов техники, реализующий принцип выявления способностей испытуемых к упорядочиванию по важности с заданной точки зрения предъявляемых описаний характеристик анализируемых объектов.

2. Алгоритмы получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов, с вычислением весомостей предъявляемых описаний характеристик анализируемых объектов на основе метода парных сравнений без предварительного формирования шкал экспертных суждений.

3. Методика формирования эталонных упорядочиваний весомостей предъявляемых описаний характеристик анализируемых объектов и получения на основе разработанных мер сопоставления с ними

интегральных оценок уровня профессиональных знаний привлекаемых экспертов.

4. Программная реализация алгоритмов получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов и ее апробация на примере сферы ИКТ.

Достоверность выводов и рекомендаций обеспечивается корректностью использования принципов системного анализа, математических формулировок и преобразований, отсутствием противоречий с известными теоретическими положениями и сопоставлениями результатов компьютерного моделирования со статистическими данными.

Личный вклад соискателя

Все изложенные в диссертации результаты исследования получены либо соискателем лично, либо при его непосредственном участии.

Апробация результатов диссертационного исследования.

Результаты диссертационного исследования обсуждались на следующих научно-технических конференциях:

1. Всероссийская конференция с элементами научной школы для молодежи «Информационные технологии в образовании XXI века» (ИТО-ХХ1), 2011г., Москва, Россия.

2. Всероссийский конкурс научно-исследовательских работ студентов и аспирантов «Инновационные технологии в образовательном процессе», 2011 г, Белгород, Россия.

3. Вторая Международная научно-техническая конференция, «Компьютерные науки и технологии», 2011 г., Белгород, Россия.

4. Десятая международная научно-методическая конференция «Информатика: проблемы, методология, технологии, 2010 г, Воронеж, Россия.

5. Первая Международная научно-техническая конференция, «Компьютерные науки и технологии», 2009 г., Белгород, Россия.

6. Девятая международная научно-методическая конференция «Информатика: проблемы, методология, технологии», 2009 г., Воронеж, Россия.

7. Международная научно-практическая конференция «Новые информационные технологии в образовании», 2009 г., Екатеринбург, Россия.

8. Всероссийская научно-техническая конференция «Проблемы информатизации образования», 2008 г., Тула, Россия.

9. VI Всероссийская конференция (с международным участием) «Современные ИТ в науке, образовании и практике», 2007 г., Оренбург, Россия.

Связь с научными и инновационными программами

Диссертационное исследование проводилось в рамках следующих программ фундаментальных, поисковых и инновационных исследований: Грант РФФИ № 07-07-00206а «Обратная задача экспертного оценивания относительных важностей конечного множества объектов при степенной калибровке матрицы парных сравнений»; Федеральная целевая программа «Научные и научно-педагогические кадры для инновационной России» на 2009-2013 годы, проект по теме: «Разработка автоматизированной системы количественного синтеза результатов внедрения технологий электронного обучения (META-ANALYSIS E-LEARNING)»; Федеральная целевая программа «Научные и научно-педагогические кадры для инновационной России» на 2009-2013 годы, проект: «Разработка вариационных методов и алгоритмов обработки изображений земной поверхности в задачах их дешифрирования»; внутривузовские гранты БелГУ на проведение исследований по приоритетным направлениям развития науки, технологий и техники, 2008, 2009, 2010 годы.

Публикации

По теме диссертационного исследования опубликована 21 печатная работа (из них 8 в журналах из списка ВАК РФ), в том числе пять

Свидетельств Роспатента РФ о государственной регистрации программы для ЭВМ.

Объем и структура работы

Диссертация состоит из Введения, четырех глав, Заключения и Приложения. Работа изложена на 140 страницах машинописного текста, включая 11 рисунков, 43 таблицы и список литературных источников из 102 наименований.

Работа выполнена на кафедре Прикладной информатики Белгородского государственного национального исследовательского университета.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Путивцева, Наталья Павловна

4.4 Основные результаты и выводы главы

1. Сформулированы требования к разрабатываемой программной поддержке.

2. Разработана программная поддержка представленной во второй главе иерархической процедуры оценивания профессиональных знаний на основе парных сравнений, где критериями выступают направления профессиональных знаний, а понятия, составляющие вопросы теста, характеризуют объекты профессиональной деятельности с точки зрения сформулированных направлений профессиональных знаний, на основе метода парных сравнений без предварительного формирования шкал экспертных суждений, представленного в третьей главе.

3. Разработана системная классификация профессиональных знаний в сфере ИКТ.

4. Проведена апробация разработанного метода оценки профессиональных знаний на примере сферы ИКТ, с использованием разработанной компьютерной программы, с участием 30 студентов специальности «Прикладная информатика (в экономике)».

5. Работоспособность разработанных алгоритмов и адекватность полученных результатов оценивания профессиональных знаний была оценена путем сравнения результатов оценки уровня знаний студентов с их реальной успеваемостью по дисциплинам учебного плана.

ЗАКЛЮЧЕНИЕ

1. Разработан метод системного оценивания уровня профессиональных знаний экспертов, привлекаемых для анализа объектов в научно-технической сфере, на основе получения и обработки экспертной информации, включая:

1.1 новый принцип отбора экспертов на основе проверки их способности к упорядочиванию в виде вычисляемых весомостей предъявляемых описаний характеристик анализируемых объектов по степени их полноты с заданной точки зрения (направления профессиональных знаний) ;

1.2 иерархическую процедуру получения и обработки на основе парных сравнений информации о знаниях испытуемых с вычислениями весомостей сравниваемых описаний анализируемых объектов;

1.3 способ формирования эталонного уровня профессиональных знаний в виде упорядочивания весомостей сравниваемых описаний анализируемых объектов с привлечением «эталонных» экспертов;

1.4 способ оценивания уровня профессиональных знаний экспертов на основе разработанных мер близости с полученным ранее эталонным упорядочиванием весомостей и градаций результирующих оценок.

2. Разработаны алгоритмы получения и обработки экспертной информации при оценивании уровня профессиональных знаний привлекаемых экспертов, с вычислением весомостей предъявляемых описаний анализируемых объектов на основе метода парных сравнений без предварительного формирования шкал экспертных суждений и определением уровня профессиональных знаний на основе сопоставлений с предварительно формируемым эталонным уровнем с применением мер близостей для сопоставлений вычисленных весомостей на основе разработанных шкал интегральных оценок.

3. Разработана программная реализация алгоритмов получения и обработки информации при отборе экспертов в научно-технической сфере.

4. Проведена апробация разработанного метода и алгоритмов оценивания профессиональных знаний привлекаемых экспертов на примере оценивания уровня профессиональных знаний в сфере информационно-коммуникационных технологий.

Результаты проведенных вычислительных экспериментов с реальными и модельными данными иллюстрируют работоспособность предлагаемых алгоритмов обработки экспертной информации при оценивании уровня профессиональных знаний экспертов в научно- технической сфере.

Предложенные алгоритмы получения и обработки экспертной информации при определении уровня профессиональных знаний позволяют повысить эффективность процедур отбора, привлекаемых для оценивания объектов в научно- технической сфере, в виду повышения обоснованности принимаемых решений с применения системного подхода к формированию и использованию эталонных уровней знаний

Список литературы диссертационного исследования кандидат технических наук Путивцева, Наталья Павловна, 2012 год

СПИСОК ИСПОЛЬЗОВАННЫХ источников

1. Аванесов B.C. Композиция тестовых заданий / B.C. Аванесов. -М: Ассоциация инженеров-педагогов, 1996.

2. Айвазян С.А. Прикладная статистика: Исследование зависимостей: Справ, изд. /[ С.А. Айвазян, И.С. Енюков, Л.Д. Мешалкин; Под ред. С.А. Айвазяна]. - М.: Финансы и статистика, 1985. - 487 е., ил.

3. Андрейчиков A.B. Анализ, синтез, планирование решений в экономике: Учебник. - 2-е изд. / A.B. Андрейчиков, О.Н. Андрейчикова. - M.: Финансы и статистика, 2004. - 464 с.

4. Архангельский А. Я. Программирование в Delphi 7. / А .Я. Архангельский. - М.: Бином-Пресс, 2003, - 1152с.

5. Ахрамейко A.A. Обобщение метода анализа иерархий Саати для использования нечетко-интервальных экспертных данных / A.A. Ахрамейко, Б.А. Железко, Д.В. Ксеневич, C.B. Ксеневич [Электронный ресурс] Режим доступа http://sedok.narod.ru/s_iles/belorussia_2002.htm

6. Безбородова Г.А. Использование информационно-коммуникационных технологий в самостоятельной работе со студентами на занятиях по математике / Г.А. Безбородова // Актуальные вопросы современной педагогики: материалы междунар. заоч. науч. конф. (г. Уфа, июнь 2011 г.). / Под общ. ред. Г.Д. Ахметовой. — Уфа: Лето, 2011. — С. 124-127.

7. Белкин А.Р. Принятие решений: комбинаторные модели аппроксимации информации / А.Р. Белкин, М.Ш. Левин. - М.: Наука, 1990.- 160с.

8. Берестнева О.Г. Системные исследования и информационные технологии оценки компетентности студентов / автореф. дисс. на соиск. уч. степ. докт. техн. наук, Томск: ТПУ, 2007. - 41с.

9. Бешелев С. Д. Математико-статистические методы экспертных оценок / С.Д. Бешелев, Ф.Г. Гурвич. - М.: Статистика, 1980. - 263с.

Ю.Бешелев С.Д. Экспертные оценки [Текст] / С.Д. Бешелев, Ф.Г. Гурвич. -М.: Наука, 1973.

11.Бешелев С. Д. Экспертные оценки в принятии плановых решений / С. Д. Бешелев, Ф. Г. Гурвич. - М.: Экономика, 1976.

12.Блюмин С.Д. Модели и методы принятия решений в условиях неопределенности / С.Л. Блюмин, И.А. Шуйкова. - Липецк: ЛЭГИ, 2001.-138 с.

13.Вартазаров И. С. Экспертные оценки и их применение в энергетике / И. С Вартазаров, И. Г. Горлов, Е. В. Минаев, Р. И. Хвастунов. - М.: Энергоиздат, 1981.

14.Васильев В.И. Система тестирования АСТ-Тест / В.И. Васильев, Т.Н. Тягунова, Н.Г. Малышев, С.А. Тягунов [Электронный ресурс] Режим доступа http://www.ast-centre.ru/

15.Гантмахер, Ф.Р. Теория матриц / Ф.Р. Гантмахер - М.: Наука, 1967.

16.Демидов Н.Е. Математические модели и методы анализа иерархий в системах обеспечения информационной безопасности / дисс. на соиск. уч. степ. канд. техн. наук, Тверь, 2004.

17.Добров Г.М. Экспертные оценки в научно-техническом прогнозировании / Г.М. Добров, Ю.В. Ершов, Е.И. Левин, А.П. Смирнов. - Киев: Наукова думка, 1974.

18.Дьяченко М.И. Психология высшей школы / М.И. Дьяченко, Л.А. Кандыбович. - Минск: Изд-во БГУ им. В. И. Ленина, 1978.

19.Дэвид Г. Метод парных сравнений / Г. Дэвид. - М.: Статистика, 1978.

20.Евланов Л.Г. Теория и практика принятия решений / Л.Г. Евланов. -М: Экономика, 1984.

21.Евланов Л.Г. Экспертные оценки в управлении / Л.Г. Евланов, В.А. Кутузов. -М.: Экономика, 1978.

22.Елисеева И.И. Общая теория статистики / И.И. Елисеева, М.М. Юзбашев. - М.: Финансы и статистика, 2005. - 657с.

23.Жиляков Е.Г. Адаптивное определение относительных важностей объектов на основе качественных парных сравнений / Е.Г. Жиляков // Экономика и математические методы, - 2006. - Т. 42, № 2. - С. 111-122.

24.Жиляков Е.Г. Основы управления лизингом: Учебное пособие / Е.Г. Жиляков, Я.В. Кравченко. - Белгород: Корпоративное образование, 2001.-67с.

25.Жиляков Е.Г. Системный анализ и модели поддержки принятия решений: Учебно-методическое пособие с лабораторным практикумом / Е.Г. Жиляков, Ю.А. Фокин, А.Е. Яковлев. - Белгород: Изд-во БУПК, 1999.- 119с.

26.Жиляков, Е.Г. Вариационный метод решения обратной задачи экспертного оценивания при парных сравнениях / Е.Г. Жиляков, Н.П. Путивцева, Н.В. Щербинина // Вопросы радиоэлектроники. Сер. РЛТ. - 2007. - (№4)вып.2. - С. 142-155.

27.Жиляков, Е.Г. Системная модель направлений профессиональной деятельности в сфере информационно- коммуникационных технологий (ИКТ) / Е.Г. Жиляков, С.П. Белов, C.B. Игрунова, С.Н. Девицына, Н.П. Путивцева // Известия ОрелГТУ. Информационные системы и технологии. - 2009. - № 5 - С. 56-65.

28.Заде Л.А. Понятие лингвистической переменной и его применение к принятию приближенных решений / Л.А. Заде. - М.: Мир, 1976. -168 с.

29.Иванова Т.М. Анализ и комплексная оценка систем формирования и квалиметрии профессиональных знаний / дисс. на соиск. уч. степ, канд. техн. наук, Самара, 2007. - 145 с.

30.Кибанов А.Я. Управление персоналом организации: отбор и оценка при найме, аттестации: Учебное пособие для студентов вузов / А.Я. Кибанов, И.Б. Дуракова. - М.: «Экзамен», 2005. - 416с.

31.Кузьменко, О.Jl. Многокритериальный выбор и принятие решений на основе экспертных знаний и нечеткого распознавания ситуаций / дисс. на соиск. уч. степ. канд. техн. наук, Таганрог 2008, 175 с.

32.Купер, Д. Психология в отборе персонала / Д. Купер, Э. Робертсон. -Спб: Питер, 2003. - 240с.

33.Клигер, С.А. Шкалирование при сборе и анализе социологической информации / С.А. Клигер, М.С. Косолапов, Ю.Н. Толстова. - М.: Наука, 1978.

34.Ларичев, О.И. Вербальный анализ решений / [О.И. Ларичев. Отв. Ред. А.Б. Петровский: Ин-т системного анализа РАН]. М.: Наука, 2006. -181с.

35. Ларичев, О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных странах: Учебник для студентов вузов. - 2-е изд., перераб. и доп. / О.И. Ларичев. - М.: Логос, 2002. - 392 с.

36.Ларичев, О.И. Качественные методы принятия решений. Вербальный анализ решений / О.И. Ларичев, Е.М. Мошкович. - М.: Наука. Физматлит, 1996. - 208с.

37.Лизунова, Е.М. Информационные и коммуникац технологии в образовании: лекции / Е.М. Лизунова. - Елабуга, 2006 [Электронный ресурс]. Режим доступа

http://www.egpu.ru/main/rus/struct/katheder/informat/resources/books/Ogla v.html

38.Литвак Б.Г. Экспертная информация: методы получения и анализа / Б.Г. Литвак. - М.: Радио и связь, 1982.

39.Литвак Б.Г. Экспертные оценки и принятие решений / Б.Г. Литвак. -М.: Патент, 1996.-271с.

40.Макаров С.И. Разработка модели и инструментальных средств оптимального распределения инвестиций в непрерывное образование на основе компетентностного подхода / дисс. на соиск. уч. степ. канд. экон. наук, Москва, 2008. - 175 с.

41.Миркин Б.Г. Анализ качественных признаков и структур / Б.Г. Миркин. -М.: Наука, 1982.-286с.

42.Моисеев В.Б. Информационный подход к выбору решений в системах адаптивного тестирования / В.Б. Моисеев, Л.Г. Пятирублевый, К.Р Таранцева // Материалы конференции «Анализ качества образования и тестирование». - Москва. МО РФ. МЭСИ. С. 174-178.

43 .Моргунов Е. УПРАВЛЕНИЕ ПЕРСОНАЛОМ: исследование, оценка, обучение / Е. Моргунов. - М.: ООО «Журнал «Управление персоналом», 2005. - 550с.

44.Моренин A.A. Анализ математических методов поддержки принятия решений / A.A. Моренин [Электронный ресурс] Режим доступа http:/www.olap.ru/bestanalysis.asp

45.Мыльник В.В., Титаренко Б.П., Волочиенко В.А. Исследование систем управления М.: Академический Проект, 2003. — 352 с.

46.Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.М. Нейман, В.А.Хлебников. - М.: Прометей, 2000, - 168 С.

47. Никаев С.А. Модели и информационная система для оценки профессиональных знаний специалистов промышленного производства / дисс. на соиск. уч. степ. канд. техн. наук, Самара, 2004. - 186 с.

48.Ногин В.Д. Упрощенный вариант метода анализа иерархий на основе нелинейной свертки критериев / В.Д. Ногин // Вычислительная математика и математическая физика, 2004. №7. С. 1261-1270. (Том 44).

49.Ногин В.Д. Принятие решений при многих критериях: Учебно-методическое пособие / В.Д. Ногин - СПб: Изд-во «ЮТАС», 2007. -104с.

50. Окладникова C.B. Модели оценки качества тестовых материалов на этапе разработки / дисс. на соиск. уч. степ. канд. техн. наук, Астрахань, 2009.- 184 с.

51,Олейник, Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учебное пособие / Н.М. Олейник. - Донецк: ДГУ. [Электронный ресурс] Режим доступа http:// opentest. com.ua/test-kak-instmment-izmereniya-urovnya-znanij/.

52.Орлов А.И. Теория принятия решений: Учеб. Пособие / А.И. Орлов -М.: Издательство «Март», 2004. - 656 с.

53.Орловский С.А. Проблемы принятия решений при нечеткой исходной информации / A.C. Орловский - М.: Наука. Главная редакция физико-математической литературы, 1981. - 208с.

54.Панкова JI.A. Организация экспертизы и анализ экспертной информации / Л. А. Панкова, A.M. Петровский, М.В. Шнейдерман. -М.: Наука, 1984.

55.Петровский А.Б. Теория принятия решений / А.Б.Петровский. - М.: Издательский центр «Академия», 2009.

56.Плетнёв, К.И., Экспертиза в научно-технической сфере: методология и организация / К.И. Плетнев, Н.Е. Лазаренко. - М.: РАГС, 2003.

57. Приказ Ростехрегулирования от 30.08.2007 N 2358"Об организации работы по проведению конкурсов на замещение вакантных должностей федеральной государственной гражданской службы Российской Федерации в Федеральном агентстве по техническому регулированию и метрологии"

58.Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. - Т. 1: Айвазян С.А., Мхитарян B.C. Теория вероятностей и прикладная статистика, - М.: ЮНИТИ-ДАНА, 2001. -656 с.

59.Питмен Э. Основы теории статистических выводов / Э. Питмен. - М.: Мир, 1986. - 104с.

60.Полещук, О.М. Методы формализации и обработки нечеткой экспертной информации / дисс. на соиск. уч. степ. докт. техн. наук, Москва, 2004.-281 с.

61.Попова, Е.Д. Разработка моделей и алгоритмов оценки качества тестовых материалов / дисс. на соиск. уч. степ. канд. техн. наук, Москва, 2005. - 175 с.

62.Путивцева Н.П. Разработка процедуры обработки информации при оценивании уровня профессиональных знаний в сфере ИКТ на основе парных сравнений / Н.П. Путивцева // Научные ведомости БелГУ. Серия История. Политология. Экономика. Информатика. - 2011. - №7 (102), вып. 18/1.-С. 152-161.

63.Путивцева Н.П. Применение метода парных сравнений для анализа учебных планов с использованием модели профессиональных ИКТ-компетенций / C.B. Игрунова, С.Н. Девицына, Н.П. Путивцева // Научные ведомости БелГУ. Серия История. Политология. Экономика. Информатика. - 2009. - №9(64), вып. 11/1. - С. 186-190.

64. Путивцева Н.П. Разработка процедуры применения системного подхода к выявлению знаний в автоматизированном режиме / Н.П. Путивцева // Информатика: проблемы, методология, технологии: материалы Девятой междунар. науч.-метод. конф. - Воронеж: Издательско-полиграфический центр Воронежского государственного университета, 2009. - С. 241-245.

65.Райхман, Э. П. Экспертные методы в оценке качества товара / Э.П. Райхман, Г.Г. Азгальдов. -М.: Экономика, 1974.

66.Рудинский, И.Д. Подготовка специалистов в области формально -структурного описания, исследования и организации педагогического тестирования знаний: (на примере специальности "Прикл. информатика в образовании") / автореф. дисс. на соиск. учен. степ, докт. пед. наук, - Москва: 2005. - 36 е.: ил.

67.Рудинский И.Д. Модель нечёткого оценивания знаний как методологический базис автоматизации педагогического тестирования / И.Д. Рудинский // Информационные технологии. - 2003. - №9. - С. 4751.

68.Рыжов А.П. Элементы теории нечетких множеств и измерения нечеткости / А.П. Рыжов. - М.: Диалог-МГУ, 1998. - 81с.

69.Саати Т. Принятие решений. Метод анализа иерархий / Т. Саати - М.: Радио и связь, 1993. - 320 с.

70.Саати Т. Аналитическое планирование. Организация систем / Т. Саати, А. Керне. - М.: Радио и связь, 1991. - 224 с.

71.Семенова Н.Г., Вакулюк В.М. Информационные и коммуникационные технологии в профессиональном образовании / Н.Г. Семенова, В.М. Вакулюк // Современные проблемы науки и образования. - 2006. - № 6. -С. 97-99.

72.«Совершенствование, научно-методическое сопровождение и внедрение новых научно обоснованных технологий в процесс подготовки специалистов, занимающихся дистанционным обучением муниципальных служащих»: итоговый отчет Министерства регионального развития, М.: 2006. [Электронный ресурс] режим доступа

http ://archive. minregion.ru/OpenFile. ashx/0_distantsiormom_obuchenii_slu zhaschih.doc? AttachID= 1095

73.Стукач O.B. Статистическое моделирование оценки качества подготовки специалистов по информационным технологиям / О.В. Стукач // Информатика и системы управления. - 2005. - N 1. - С. 175181. [Электронный ресурс] режим доступа http://ieee.tpu.ru/nauka/amur.pdf

74.Стукач, О.В. Использование статистических методов для оценки качества подготовки разработчиков программного обеспечения / О.В. Стукач, Д.В. Баранов // В сб. Интеллектуальные системы в управлении,

конструировании и образовании. Вып. 4. Под ред. проф. A.A. Шелупанова. - Томск: Изд-во Института оптики атмосферы СО РАН, 2005. с. 232-238.

75.Сухарев А.Г. Курс методов оптимизации. / А.Г. Сухарев, A.B. Тимохов,

B.В. Фёдоров - М.:Наука, 1986.

76.Тармин В.А. Автоматизация и управление процессами аттестации персонала предприятий промышленности на основе моделей и алгоритмов представления и оценки профессиональных знаний / автореф. дисс. на соиск. уч. степ. канд. техн. наук, Москва, 2010. - 24 с.

77.Трахтенгерц Э.А. Компьютерная поддержка принятия решений. Серия «Информатизация России на пороге XXI века» / Э.А. Трахтенгерц. -М.: СИНТЕГ, 1998.-376 с.

78.Тоискин, B.C. Информационные и коммуникационные технологии в образовании: Учебное пособие / B.C. Тоискин, В.В. Красильников. -Ставрополь: Изд-во СГПИ, 2008. - 140 с.

79.Тутыгин А.Г. Преимущества и недостатки метода анализа иерархий / А.Г. Тутыгин, В.Б. Коробов // Известия РГПУ им. А. И. Герцена. Естественные и точные науки, 2010, № 122.

80.Уиддет С. Руководство по компетенциям / С. Уиддет, С. Холлифорд. -М.: Hippo, 2003.

81.Уилкс С. Математическая статистика. / С. Уилкс. - М.: Наука, 1967. -637с.: илл.

82.Фомичева С.Г. Модель нечёткого оценивания знаний тестируемого /

C.Г. Фомичева, A.A. Маслова.

83.Челышкова М.Б. Теория и практика конструирования педагогических

тестов / М. Б.Челышкова. - М.: ИЦПКС, 2000. - 409 с. 84.Челышкова М.Б. Адаптивное тестирование в образовании (теория, методология, технология) / М.Б. Челышкова - М.: ИЦПКПС, 2001. -165 с.

85.Чернышева Т.Ю. Модель многокритериальной оценки экспертов // Альманах современной науки и образования. - 2008. - №9 (16). - С. 242-245.

86.Чешев В.В. Специфика технического знания // Вопросы философии. -1979. - №4.-С. 59-67.

87.Шапиро Д.И. Принятие решений в системах организационного управления: использование расплывчатых категорий / Д.И. Шапиро. -М.: Энергоатомиздат, 1983. - 184с.

88.Экспертные оценки в социологических исследованиях / [Крымский С. Б. отв. ред.] - Киев: Наукова думка, 1990.

89.Aczel, J., Saaty, Т. L., (1983). Procedures for synthesising ratio judgments, Journal of Mathematical Psychology, 27, 93-102.

90.Bradley, R.A. and Terry, M.E. (1952). Rank analysis of incomplete block designs, I. the method of paired comparisons. Biometrika, 39, 324-345.

91.David, H.A. (1988). The Method of Paired Comparisons. New York: Oxford University Press.

92.Gulliksen H., A least squares solution for paired comparisons with incomplete data." Psychometrika, vol. 21, pp. 125-134, 1956.

93.Luce, R.D. (1959). Individual Choice Behaviours: A Theoretical Analysis. New York: J. Wiley.

94.Rasch G. Probabilistic Model for some Intelligence and Attainment tests. Chicago: Univ. of Chicago Press, 1980.

95.Siskos, Y. and Spyridakos, A. (1999) Intelligent multicriteria decision support: Overview and perspectives. European Journal of Operational Research 113(2), 236-246.

96.Saaty, Thomas L. Decision Making for Leaders: The Analytic Hierarchy Process for Decisions in a Complex World. Pittsburgh, Pennsylvania: RWS Publications.

97.Saaty, Thomas L. Relative Measurement and its Generalization in Decision Making: Why Pairwise Comparisons are Central in Mathematics for the

Measurement of Intangible Factors - The Analytic Hierarchy/Network Process (http://www.rac.es/ficheros/doc/00576.PDF)

98.Thurstone, L.L. (1927). A law of comparative judgement. Psychological Review, 34, 278-286.

99.Thurstone, L.L. (1959). The Measurement of Values. Chicago: The University of Chicago Press.

100. Triantaphillou E. Two new cases of rank reversals when the AHP and some of its additive variants are used that do not occur with the multiplicative AHP // J. of Multi-Criteria Decision Analysis, 2001, v. 10, pp. 11-25.

101. Zeleny, M. (1982) Multiple Criteria Decision Making. McGraw-Hill, New York.

102. Saaty, T.L., Vargas, L.G., (1993). Experiments on Rank Preservation and Reversal in Relative Measurement. Math. Comput. Modelling, 17, 4/5, 13-18.