Комплексная автоматизация и управление процессами аттестации персонала промышленных предприятий тема диссертации и автореферата по ВАК РФ 05.13.06, доктор технических наук Попов, Дмитрий Иванович

• Попов, Дмитрий Иванович
• доктор технических наук
• 2007

Оглавление диссертации доктор технических наук Попов, Дмитрий Иванович

ВВЕДЕНИЕ.

1. АНАЛИЗ ЗАДАЧ АВТОМАТИЗАЦИИ И УПРАВЛЕНИЯ ПРОЦЕССАМИ АТТЕСТАЦИИ И ПОВЫШЕНИЯ КВАЛИФИКАЦИИ ПЕРСОНАЛА ПРЕДПРИЯТИЙ.

1.1. Открытое образование как инструмент повышения квалификации персонала.

1.2. Повышение квалификации на основе Интернет-технологий.

1.3. Особенности процессов повышения квалификации персонала.

1.4. Категории лиц, заинтересованных в повышении квалификации через Интернет.

1.5. Основные преимущества использования новых технологий в процессах повышения квалификации.

1.6. Технологии реализации повышения квалификации персонала через Интернет.

1.7. Выводы по главе.

2. АВТОМАТИЗАЦИЯ ПРОЦЕССОВ ПРЕДСТАВЛЕНИЯ И ОЦЕНКИ АТТЕСТАЦИОННЫХ ЗНАНИЙ.

2.1. Классические модели представления знаний.

2.2. Пространства знаний.

2.3. Разработка усовершенствованного алгоритма построения базы пространства знаний.

2.4. Экспериментальный анализ полученных результатов.

2.5. Классификация аттестационных материалов при автоматизации процесса аттестации персонала.

2.6. Разработка методов классификации уровня учебных достижений на основе правдоподобных рассуждений.

2.7. Модель адаптивного тестирования для автоматизированной системы аттестации персонала.

2.8. Модель расчета вероятности угадывания на тестовые задания.

2.9. Разработка модели рассекречивания аттестационных материалов.

2.10. Выводы по главе.

3. АВТОМАТИЗАЦИЯ ПРОЦЕССОВ ЭКСПЕРТИЗЫ И СЕРТИФИКАЦИИ КАЧЕСТВА АТТЕСТАЦИОННЫХ МАТЕРИАЛОВ.

3.1. Научные направления в квалиметрии.

3.2. Подходы к обработке мнений экспертов.

3.3. Расчет характеристик аттестационных материалов.

3.4. Экспертиза нормы трудности аттестационных материалов.

3.5. Требования к ТЗ и ТМ.

3.6. Модель для расчета согласованности мнений экспертов.

3.7. Алгоритм кластерного анализа результатов экспертизы.

3.8. Разработка методик сокращения времени экспертизы аттестационных материалов.

3.9. Выводы по главе.

4. ПРОЕКТИРОВАНИЕ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ИНТЕРНЕТ-ЭКСПЕРТИЗЫ АТТЕСТАЦИОННЫХ МАТЕРИАЛОВ.

4.1. Основные этапы сертификации и экспертизы.

4.2. Общая структура системы.

4.3. Модуль формирования шкал.

4.4. Модуль управления экспертами.

4.5. Модуль регистрации аттестационных материалов.

4.6. Модуль анализа результатов экспертизы.

4.7. Подсистема проведения экспертизы.

4.8. Подсистема конвертации и обработки аттестационных материалов на основе стандарта IMS QTI.

4.9. Расчет экономической эффективности с учетом автоматизации процессов экспертизы и сертификации.

4.10. Выводы по главе.

5. ПРОЕКТИРОВАНИЕ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ПОВЫШЕНИЯ КВАЛИФИКАЦИИ И ОБУЧЕНИЯ ПЕРСОНАЛА ПРЕДПРИЯТИЯ БЕЗ ОТРЫВА ОТ ПРОИЗВОДСТВА.

5.1. Общая структура системы.

5.2. Подсистема обучения и подготовки учебных ресурсов.

5.3. Сетевая подсистема адаптивной аттестации и конструирования тестов.

5.4. Подсистема локального тестирования, создания и изменения банков аттестационных материалов.

5.5. Подсистема аттестации на бланках и распознавания результатов.

5.6. Подсистема статистики, подготовки ведомостей и анализа результатов аттестации.

5.7. Подсистема интеллектуальной поддержки процесса обучения и аттестации.

5.8. Подсистема безопасности и защиты информации.

5.9. Подсистема поддержки учебного процесса.

5.10. Виртуальная библиотека.

5.11. Подсистема интерактивного взаимодействия.

5.12. Выводы по главе.

Введение диссертации (часть автореферата) на тему «Комплексная автоматизация и управление процессами аттестации персонала промышленных предприятий»

В современном обществе информационные технологии, профессиональные навыки и знания представляют собой важнейший ресурс дальнейшего развития человечества. Одним из важнейших условий, влияющих на переход мирового сообщества от индустриального этапа к информационному, является информатизация процессов в промышленности, в образовании, смена и усовершенствование концепции профессионального образования. Этим объясняется то внимание, которое уделяют в последние годы правительства, национальные и международные организации использованию новых информационных и коммуникационных технологий в промышленности и образовании.

В последние годы в области информационных и коммуникационных технологий наблюдается значительный прогресс, в результате которого поколения компьютерного оборудования и программного обеспечения быстро приходят на смену друг другу, появляются различного рода новые информационные технологии. Совершенно очевидными стали тенденции, ведущие к формированию информационного общества. Все это требует критического пересмотра состояния и перспектив развития системы подготовки и аттестации кадров для предприятий промышленности.

Повсюду в мире отмечается тенденция к увеличению потока данных. Цифровая технология произвела своего рода революцию, она позволяет объединить в цифровой форме текст, графическое и видеоизображение, речевое и музыкальное сопровождение; на основе этой технологии создаются мощные новые средства представления и передачи знаний, а также средства тренинга профессионалов, повышения уровня их обучепности, аттестация их знаний. Относительно низкая стоимость современных технических устройств и их большая мощность в значительной степени способствуют их распространению. Неуклонный процесс распространения компьютеров, в сферах промышленности и транспорта, способствует росту понимания потенциала стратегий компьютеризации в качестве экономически выгодного решения целого ряда проблем, связанных с обучением и аттестацией персонала предприятий и повышением их квалификации, в идеальном случае, безотрывно от работы на производстве.

Тем более все это имеет большую важность для предприятий промышленности и транспорта на современном этапе развития общества, когда внедрение информационных технологий охватывает практически все технологические и производственные процессы в этих отраслях. К сожалению, существующая традиционная система образования уже не всегда способна удовлетворить все возникающие потребности. Поэтому очень актуальным является решение вопросов, связанных с автоматизацией процессов аттестации и обучения персонала предприятий промышленности. В настоящее время существует множество направлений, где требуются подобного рода образовательные и аттестационные услуги. Это и привычное среднее и высшее общее и профессиональное образование, и переподготовка кадров в связи с использованием на рабочих местах новейшей техники и технологий, и различные образовательные программы для персонала предприятий, и аттестационные комиссии на предприятиях. Очевидна при этом и сложность организации процессов обучения и аттестации по всем направлениям на предприятиях промышленности. Компьютеры и информационные технологии являются одновременно самым популярным средством организации процесса аттестации и обучения.

Решением многих существующих проблем на данном этапе может стать автоматизированная система аттестации и обучения персонала, которая позволит, во-первых, объединить знания и опыт лучших профессионалов в данной области, во-вторых, сделать эти знания доступными для тысяч желающих научиться, посредством Интернет-технологий. Профессионалы получат возможность более широкого распространения ценных знаний и методик, а пользователи и персонал предприятий получат возможность учиться 5 когда, где и как им удобно. Подобная концепция организации информационно-образовательных услуг способствует повышению уровня образованности персонала на предприятиях промышленности, и, как следствие, экономическому росту и улучшению благосостояния в отрасли.

Важнейшей особенностью систем нового поколения является возможность индивидуализации процессов обучения и аттестации за счет использования различных интеллектуальных средств и методов. Поэтому разработка интеллектуальных методов и средств автоматизации процессов аттестации и обучения персонала промышленных предприятий является важнейшей и актуальной задачей на современном этапе. Именно решению таких задач посвящена данная работа. Следует заметить, что существующие методы и разработки в автоматизированных системах аттестации персонала, а также используемые программные и технические средства достигли определенной степени развития и могут рассматриваться, как стартовый уровень для реализации таких технологий. Однако, вопросы, связанные с методологией и технологией проектирования таких систем, а также задачи обеспечения качества, мониторинга обучения и аттестации остаются по-прежнему в большей степени открытыми.

Все вышесказанное подчеркивает актуальность проблем автоматизации и управления процессами аттестации персонала предприятий промышленности, решению которых и посвящена настоящая диссертационная работа.

В работе рассматриваются методики и технологии автоматизации управления процессами аттестации персонала предприятий промышленности, анализируются и исследуются существующие подходы в этом направлении, предлагаются теоретические выкладки для реализации в автоматизированных системах аттестации и обучения персонала предприятий, приводятся примеры реализации различных модулей автоматизированной среды аттестации и обучения персонала предприятий промышленности.

Цели и задач». Целью настоящей диссертационной работы является разработка теоретических и методологических основ автоматизации и 6 управления процессами аттестации персонала предприятий промышленности на основе моделей и алгоритмов представления и оценки знаний, методов нечеткой логики и непараметрической статистки. Для достижения указанной цели решены следующие задачи:

1. Создана методология и технология проектирования автоматизированных систем аттестации персонала предприятий промышленности.

2. Разработана типовая архитектура образовательной среды повышения квалификации и аттестации персонала предприятий, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения.

3. Разработаны усовершенствованные модели и алгоритмы представления и оценки знаний на основе пространств знаний, позволяющие оптимизировать структуры хранения знаний в образовательном процессе и минимизировать время анализа существующих знаний.

4. Разработан метод адаптивной аттестации на основе механизмов нечеткой логики, позволяющий имитировать контроль знаний на устном экзамене, что сокращает время аттестации и повышает точность оценки знаний.

5. Разработаны методы экспертной оценки характеристик аттестационных материалов на основе методов непараметрической статистики и кластерного анализа, которые сокращают время экспертизы и адаптированы на реализацию в Интернет-системах.

6. Проведена оценка эффективности предлагаемых методов и алгоритмов на основе моделирования и расчетного исследования.

Научная новизна работы заключается в следующем: 1. Разработаны усовершенствованные методы представления и оценки знаний на основе пространств знаний, позволяющие оптимизировать структуры хранения знаний в автоматизированных системах аттестации персонала промышленного предприятия и минимизировать время построения пространств знаний.

2. Разработан новый метод адаптивной аттестации знаний на основе нечеткой логики, повышающие верность оценки знаний.

3. Для повышения качества экспертизы аттестационных материалов и верности оценки знаний, предложены математические методы и алгоритмы экспертной оценки характеристик аттестационных материалов.

4. Предложена новая методология и технология проектирования автоматизированных систем аттестации персонала промышленного предприятия, основанная на методах нечеткой логики, пространств знаний и непараметрической статистки.

5. Предложена типовая архитектура автоматизированной системы повышения квалификации и аттестации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения и аттестации.

6. Разработано новое математическое и программное обеспечение с использованием методов представления и оценки знаний для автоматизации и управления процессами аттестации и повышения квалификации персонала промышленного предприятия.

Новизна некоторых из предложенных технических решений защищена авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ №№2004612524,2004612525. Практическая ценность результатов состоит в следующем:

1. Разработанные алгоритмы представления пространств знаний позволяют при определенных условиях увеличить скорость обработки пространств знаний от 10% до 30%.

2. Практическая реализация метода адаптивной аттестации позволяет сократить время проведения аттестации и получить более точные результаты аттестации.

3. Методы и модели расчета рассекречивания банков аттестационных материалов, вероятности случайного угадывания ответов на аттестационные задания и адаптивной аттестации на основе нечеткой логики позволяют 8 устанавливать практические рекомендации по своевременному обновлению, изменению тестовых материалов.

4. Методы и алгоритмы обработки экспертной оценки характеристик аттестационных материалов, на основе непараметрической статистики и кластерного анализа, позволяют повысить качество аттестационных материалов.

5. Предложенный выборочный метод позволяет сократить время экспертизы и сертификации аттестационных материалов при определенных условиях от 7% до 27,5%.

6. На основе предлагаемой методологии и технологии проектирования автоматизированных систем аттестации персонала предприятий промышленности осуществлена разработка следующих автоматизированных систем:

• система автоматизированной экспертизы качества аттестационных материалов;

• система повышения квалификации и обучения персонала предприятия без отрыва от производства.

Практическая значимость диссертационной работы подтверждается соответствующими актами о внедрении результатов исследований, авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ, документами о присвоении номеров государственной регистрации программным продуктам в фонде алгоритмов и программ, почетным дипломом выставки ВВЦ, приказами об объявлении благодарности Министерства РФ работникам сферы образования № 13-60 от 18.03.2002 и №4702 от 30.12.02.

Предложенные методы легли в основу технологии проведения экспертизы и сертификации тестовых материалов Органом сертификации (аттестат аккредитации № РОСС 1Ш.0001.11СП13 от 17.12.03) и испытательной лаборатории (аттестат аккредитации № РОСС 11110001.21СП35 от 23.09.03).

Внедрение результатов. Результаты диссертации применяются Федеральной службой по надзору в сфере образования и пауки для экспертизы 9 тестовых материалов. Методология и технология оценки качества аттестационных материалов внедрены в Московском государственном университете печати и в AHO "Центр образовательных коммуникаций и тестирования профессионального образования". Результаты работы также использованы при выполнении государственного контракта НИР № 1070 (20032004гг.).

Обоснованность и достоверность результатов

Обоснованность результатов диссертационной работы, полученных с использованием признанных научных положений и апробированных методов исследования, подтверждается корректным применением математического аппарата и согласованностью этих новых результатов с известными теоретическими положениями.

Достоверность результатов подтверждается согласованностью расчетных данных, полученных с помощью математического моделирования, алгоритмов и программ моделирования и научных выводов.

На защиту выносятся следующие положения:

1. Методология и технология проектирования автоматизированных систем аттестации персонала промышленного предприятия, ориентированные на математическое и программное обеспечение, разработанное в данной диссертации.

2. Разработанные математические методы организации и обработки знаний на основе пространств знаний, позволяющие повысить эффективность структуры хранения знаний в автоматизированных системах и минимизировать время построения пространства знаний.

3. Методы и модели расчета рассекречивания банков аттестационных материалов, вероятности случайного угадывания ответов на аттестационные задания и адаптивной аттестации на основе нечеткой логики.

4. Методика классификации форм аттестационных материалов на основе функции оценки ответа.

5. Методология и технология автоматизации и управления процессов экспертизы и сертификации качества аттестационных материалов.

6. Разработанные математические методы и алгоритмы обработки экспертной оценки характеристик аттестационных материалов, на основе непараметрической статистики и кластерного анализа, повышающие качество аттестационных материалов.

7. Архитектура автоматизированной системы повышения квалификации и аттестации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения и аттестации с соответствующим математическим обеспечением.

Авторский вклад. Все выносимые на защиту результаты и положения диссертационной работы получены и разработаны лично автором, или при его непосредственном участии.

Апробация результатов работы. Основные научные результаты, полученные в ходе диссертационного исследования, докладывались и обсуждались на следующих конференциях, выставках и конгрессах: международной научно-методической конференции «Новые информационные технологии в преподавании электротехнических дисциплин» (Астраханский государственный технический университет, 1998); Первой Всероссийской научной конференции молодых ученых и аспирантов (Таганрогский государственный радиотехнический университет, 1998); Третьей Всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, ТРТУ, 2000); V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» (Таганрог, ТРТУ, 2000); Восьмой международной конференции «Открытое образование в России XXI века» (Москва, МЭСИ, 2000); конгрессе «Искусственный интеллект в XXI веке» (Москва, 2001); 2-ой Всероссийской конференции «Электронные учебники и электронные библиотеки в открытом

11 образовании» (Москва, МЭСИ, 2001); международной научно-методической конференции Телематика (Санкт-Петербург, 2001); III Научно-методической конференции «Развитие системы тестирования в России» (Москва, Центр тестирования Министерства образования РФ, 2001); 1-я Международной научно-практической конференции «Проблемы регионального управления, экономики, права и инновационных процессов в образовании» (Таганрог, ТИУиЭ, 2001); четвертой Всероссийской научной конференции с международным участием молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, ТРТУ, 2001); седьмой международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика» (Москва, МЭИ, 2001); IEEE International Conference on Artificial Intelligence Systems (ICAIS 2002, Divnomorskoe); Всероссийской научно-методической конференции Телематика'2002 (Санкт-Петербург, 2002); Международных конференций «Искусственные интеллектуальные системы» (IEEE AIS'02) и «Интеллектуальные САПР» (CAD-2002) (Дивноморское, 2002); XII конференции-выставки «Информационные технологии в образовании» (Москва, МИФИ, 2002); Всероссийской коиференции-выставке «Современная образовательная среда» (Москва, Всероссийский выставочный центр, 2002, 2003гг.); Всероссийской научной конференции «Управление и информационные технологии» (Санкт-Петербург, 2003); X Всероссийской научно-методической конференции «Телематика-2003» (Санкт-Петербург, 2003); 1 конференции «Развитие методов и средств компьютерного адаптивного тестирования» (Москва, МГУП, 2003); Второй и Третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного адаптивного тестирования» (Москва, МГУП, 2004, 2005гг.); Научно-методической конференции «Инновационные методы и средства оценки качества образования» (Москва, МГУП, 2006г.); Второй международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, Спб.гос.политехнич.ун-т, 2006) и др.

По теме диссертации опубликована 71 научная работа, в том числе 3 монографии, статьи в реферируемых журналах (в том числе 10 публикаций, из перечня, утвержденного ВАК), 5 отчетов по НИР в рамках программы Министерства образования Российской Федерации «Создание системы открытого образования», а также в рамках государственного контракта НИР №1070.

Структура н объем работы. Диссертационная работа состоит из введения, пяти глав, заключения и 10 приложений, списка использованной литературы из 165 наименований. В работе содержится 28 таблиц, 41 рисунок. Объем работы без учета приложений составляет 278 страниц.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Попов, Дмитрий Иванович

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ И ВЫВОДЫ

1. Разработана методология и технология проектирования автоматизированных систем аттестации и повышения квалификации персонала промышленного предприятия, основанные на математических моделях и методах нечеткой логики, правдоподобных рассуждений, пространств знаний, непараметрической статистики.

2. Автором предложены новые теоретические положения, принципы и методы представления и оценки знаний на основе структур знаний, позволяющих оптимизировать способы хранения информации в процессе обучения и аттестации, минимизировать время построения пространства знаний.

3. Разработано математическое обеспечение для автоматизации процессов адаптивной аттестации и контроля уровня учебных достижений, позволяющее сократить время аттестации без ухудшения точности оценки знаний.

4. Разработаны методы и алгоритмы для автоматизации процессов экспертной оценки характеристик аттестационных материалов, что позволяет повысить качество аттестационных материалов.

5. Предложена архитектура автоматизированной системы аттестации и повышения квалификации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения.

6. Разработана технология автоматизации процессов экспертизы и сертификации качества аттестационных материалов, позволяющая сократить сроки и финансовые затраты па проведение экспертизы.

7. Разработано алгоритмическое и программное обеспечение автоматизации процессов аттестации, повышения квалификации персонала промышленного предприятия и экспертизы аттестационных материалов.

8. Модели и алгоритмы, предложенные автором данной диссертационной работы, позволяют: анализировать результаты обучения и делать соответствующие выводы по качеству аттестационных материалов; вводить и обрабатывать учебные материалы через Интернет; проводить обучение и аттестацию через Интернет; формировать отчетные и итоговые ведомости по результатам мониторинга процесса обучения.

9. Разработанные автором данной диссертации методы анализа мнений экспертов утверждены в 2004 г. заместителем руководителя департамента лицензирования, аккредитации и аттестации министерства образования РФ A.A. Киринюком и приняты в процессе оценки качества тестовых материалом органом по сертификации (аттестат аккредитации № Росс RU.001.11СП13) системы Госстандарта РФ.

10. Применение математического и программного обеспечения позволило создать реально действующую автоматизированную систему аттестации и повышения квалификации «KnowIedgeCT», успешная эксплуатация подтверждается соответствующими актами о внедрении, авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ.

11. Результаты диссертационной работы могут иметь дальнейшее широкое применение в области открытого образования и аттестации персонала промышленных предприятий с учетом специфики контингента, в центрах тестирования, в центрах переподготовки, па любых предприятиях и в организациях при аттестации и проверке служащих на профессиональную пригодность и для проведения классификации и аттестации сотрудников предприятий.

ЗАКЛЮЧЕНИЕ

В работе предложена методология и технология проектирования автоматизированных систем аттестации и повышения квалификации персонала промышленного предприятия, основанные на математических моделях и методах нечеткой логики, пространств знаний, непараметрической статистики. Рассмотренные теоретические положения, принципы и методы представления и оценки знаний на основе структур знаний позволяют оптимизировать способы хранения информации в процессе обучения и аттестации, минимизировать время построения пространства знаний. Разработанное математическое обеспечение для автоматизации процессов адаптивной аттестации и контроля уровня учебных достижений позволяет сократить время аттестации без ухудшения точности оценки знаний. Методы и алгоритмы для автоматизации процессов экспертной оценки характеристик аттестационных материалов, рассмотренные в работе, способны повысить качество аттестационных материалов. Предложена архитектура автоматизированной системы аттестации и повышения квалификации персонала промышленного предприятия, отличающаяся наличием модулей интеллектуальной поддержки и мониторинга процесса обучения. Технология автоматизации процессов экспертизы и сертификации качества аттестационных материалов, описанная в данной работе, сокращает сроки и финансовые затраты на проведение экспертизы. На основе изложенных методик разработано алгоритмическое и программное обеспечение автоматизации процессов аттестации, повышения квалификации персонала промышленного предприятия и экспертизы аттестационных материалов. Модели и алгоритмы, предложенные автором данной работы, позволяют: анализировать результаты обучения и делать соответствующие выводы по качеству аттестационных материалов; вводить и обрабатывать учебные материалы через Интернет; проводить обучение и аттестацию через Интернет; формировать отчетные и итоговые ведомости по результатам мониторинга процесса обучения. Применение математического и программного обеспечения позволило создать реально действующую автоматизированную систему аттестации и повышения квалификации «Кпо\у1ес1§еСТ», успешная эксплуатация подтверждается актами о внедрении, авторскими свидетельствами РФ об официальной регистрации программ для ЭВМ. Результаты работы могут иметь дальнейшее широкое применение в области открытого образования, дистанционного обучения и аттестации персонала предприятий промышленности и транспорта, в различных образовательных учреждениях, в центрах тестирования, в центрах переподготовки, в центрах занятости, на любых предприятиях и организациях при аттестации и проверке служащих па профессиональную пригодность и для проведения классификации и аттестации сотрудников предприятий.

Список литературы диссертационного исследования доктор технических наук Попов, Дмитрий Иванович, 2007 год

1. Основы открытого образования / А.А. Андреев, C.JI. Каплап и др.; Отв. ред. В.И. Солдаткин. Т.1. Российский государственный институт открытого образования. М.: НИИЦ РАО, 2002. 676 с.

2. Российский портал открытого образования: обучение, опыт, организация / Отв. ред. В.И. Солдаткин. М.: МГИУ, 2003. 508 с.

3. Калашникова Т.Г. Исследование и разработка методов и моделей правдоподобных рассуждений в интеллектуальных системах поддержки принятия решений. Диссертация па соискание ученой степени кандидата технических паук. Таганрог, 2001.

4. Георгиев В.О. Модели представления знаний предметных областей диалоговых систем // Изв. АН СССР. Техн. киберп. 1993. №5.

5. Искусственный интеллект: В 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Д.А. Поспелова. М.: Радио и связь, 1990.304 с.

6. Попов Э.В. Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ. М.: Наука. Гл. ред. физ.-мат. лит., 1987.288 с.

7. Минский М. Фреймы для представления знаний: Пер. с англ. М.: Энергия, 1979. 152 с.

8. Пойа Д. Математика и правдоподобные рассуждения. М.: Наука, 1975.464 с.

9. Убиенных Г.Ф., Убиенных А.Г. Сравнительный анализ методов представления знаний в базах знаний. Пенза, Пензенский государственный университет, 2002.

10. Doignon, J-P., Falmagne J-C. (1999) Knowledge Spaces.

11. Ресурсы Интернет http://www.aleks.com.

12. Birkhoff, G. Lattice Theory. Providence, R.I.: American Mathematical Society. 1967.

13. Davey, B.A. & Priestley, H.A. Introduction to Lattice and Orders. Cambridge University Press. 1990.

14. Dovvling, C.E. On the irredundant construction of knowledge spaces. Journal of Mathematical Psychology, 37,1993.49-62.

15. Koppen, M. Extracting human expertise for constructing knowledge spaces: an algorithm. Journal of Mathematical Psychology, 37, 1993. 1-20.

16. Garey, M.R. & Johnson, D.S. Computers and Intractability: A guide to the theory of NP-completeness. New York: W.H. Freeman. 1979.

17. Голец И.Н., Попов Д.И. Модель представления знаний в интеллектуальной системе дистанционного образования // Известия ТРТУ. Тематический выпуск. Интеллектуальные САПР. Таганрог, 2001. С. 332 336.

18. Попов Д.И. Способы автоматизированной оценки тестов в дистанционном обучении // Труды конгресса «Искусственный интеллект в XXI веке». М., 2001. С. 545-551.

19. Никифорова A.M., Попов Д.И., Калашникова Т.Г. Дистанционное образование: тестирование и оценка знаний // VI Междунар. пауч.-техн. копф. студентов и аспирантов «Радиоэлектроника, электротехника и энергетика»: Тез. докл. В 3-х т. М., 2000. С. 341-42.

20. Попов Д.И. Способ оценки знаний в дистанционном образовании па основе нечетких отношений// Дистанционное образование (повое название журнала -«Открытое образование») № 6, М., 2000. С. 26-29.

21. Попов Д.И. Модель адаптивного тестирования для автоматизированной системы аттестации персонала // Известия высших учебных заведений. Проблемы полиграфии и издательского дела №4'2006. М., 2006. С. 104 109.

22. Переверзев В.10. Критериально-ориентированное педагогическое тестирование: учебп. пособие.-М.: Логос, 2003.

23. Angoff W.H. Norms, scales, and equivalent scores.//R.L.Thomdike (Ed.). Educational Washington, D.C.: American Coucil on Education. 1971.

24. Ebel R.L. Essentials of educational measurement Englewood Cliffs, N.J.:Prentice-Hall. 1972.

25. Попов Д.И. Способы повышения точности оценки знаний при аттестации персонала в автоматизированных системах// Известия высших учебных заведений. Проблемы полиграфии и издательского дела №4'2006. М., 2006. С. 110-117.

26. Попов Д.И., Попова Е.Д. Количественные характеристики банков тестовых заданий //Перспективные информационные технологии и интеллектуальные системы (ПИТИС). №1(21) 2005г, Таганрог: Изд-во ТРТУ. С. 90- 93.

27. Попов Д.И., Попова Е.Д. Модель расчета рассекречивания банков тестовых заданий // Педагогические измерения № 4 2005. М., 2005. С.117-125.

28. Попова Е.Д. Оценка качества тестовых суждений //Материалы третьей Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования», М.: Изд-во МГУП, 2005. С. 172-178.

29. Черепанов B.C. Экспертные оценки в педагогических исследованиях. -М.: Педагогика, 1989. 150 с.

30. Марченко Е.К. Методы квалиметрии в педагогике. М., 1979.

31. Архангельский С.И., Михеев В. И., Перельцвайг 10. М. Вопросы измерения, анализа и оценки результатов в педагогических исследованиях. М., 1975.

32. Объективные характеристики, критерии, оценки и измерения педагогических явлений и процессов / Под ред. A.M. Арсеньева, М.А. Данилова. М., 1973.

33. Розепберг Н.М. Проблема измерений в дидактике. Киев, 1979.

34. Алексеев Н.Г. Методические проблемы проведения массовых обследований уровня знания учащихся: статика и динамика//Проблемы педагогической квалиметрии / Под ред. В. И. Огорелкова. М., 1973. Вып.1.

35. Болотник JI.B., Соколова М.А. Выделение объектов проверки па основе структурирования учебного материала//Совершенствование проверки знаний и умений учащихся / Под ред. Р.Ф. Кривошаповой. М., 1979.

36. Болотник Л.В., Соколова М.А. Тематическая модель структуры учебного материала // Проблемы педагогических измерений: Мсжвуз. сб. тр. / Под ред. В. И. Левина. М., 1984.

37. Измерение знаний при проведении массовых обследований: Методические рекомендации / Сост. Л. В. Болотник. М., 1984.

38. Левин A.B. Вопросы оценки качества контрольных работ//Проблемы педагогической квалиметрии/Под ред. В.И. Огорелкова. М., 1974. Вып. 1.

39. Проблемы педагогической квалиметрии: Межвуз. сб. тр. / Под ред. В.И. Огорелкова. М., 1973, 1975. Вып. 1, 2; То же / Под ред. В.И. Левина. М., 1984.

40. Черепанов B.C. К вопросу применения метода групповых экспертных оценок в педагогических исследованиях // Формирование личности учителя в системе высшего педагогического образования: Межвуз. сб. тр./Под ред. В.А. Сластепнна. М., 1984.

41. Черепанов B.C. О применении метода групповых экспертных оценок в дидактических исследованиях // Методологические проблемы развития советской педагогики в условиях осуществления реформы школы: Тезисы / Общ. ред.: Н.Д. Никандров, Г.В. Воробьев. М., 1984.

42. Черепанов B.C. О применении метода ГЭО в дидактических исследованиях // Проблемы педагогических измерений: Мсжвуз. сб. тр. / Под ред. В.И. Левина. М., 1984.

43. Черепанов B.C. Метод групповых экспертных оценок // Сов. педагогика. 1987. № 5.

44. Черепанов В.С, Караванов А.П. К вопросу о педагогической экспертизе учебной книги //Проблемы школьного учебника. М., 1987. Вып. 17.

45. Итсльсоп Л.Б. Математические и кибернетические методы в педагогике. М., 1964.

46. Ительсоп Л.Б. Об использовании математических и кибернетических методов в педагогических исследованиях//Сов. педагогика. 1962. №4.

47. Битинас Б.П. Многомерный анализ в педагогике и педагогической психологии. Вильнюс, 1971.

48. Фридман Л.М. Логико-психологический анализ школьных учебных задач. М., 1977.

49. Фридман Л.М. О корректном применении статистических методов в психолого-педагогических исследованиях // Сов. педагога ка. 1971. №3.

50. Архангельский С.И. Учебный процесс в высшей школе, его закономерные основы и методы. М., 1980.

51. Архангельский С.И., Михеев В.И. Теоретические основы научной организации педагогических исследований. М., 1976.

52. Сохор A.M. Логическая структура учебного материала. М., 1974.

53. Сохор A.M. Сравнительный анализ учебных текстов (па материале учебников физики)//Проблемы школьного учебника. М., 1978. Вып.6.

54. Сохор A.M. О методах количественной оценки эффективности учебных обобщений // Сов. педагогика. 1977. № 2.

55. Грабарь М.И. Об одном алгоритме получения количественной оценки знаний учащихся // Сов. педагогика. 1981. № 5.

56. Грабарь М.И. Применение компонентного анализа для обработки результатов контрольных работ и анкетирования // Проблемы педагогических измерений: Сб. научных трудов / Под ред. В.И. Левина. М., 1984.

57. Грабарь М.И. Применение математических моделей для исследования латентных факторов, влияющих па результаты обучения// Сов. педагогика. 1979. № 10.

58. Грабарь М.И., Красняпская К.А. Применение математической статистики в педагогических исследованиях: Непараметрические методы. М., 1977.

59. Воловик П.Н. Проблемы применения методов теории вероятностей и математической статистики в педагогической теории и практике: автореф. докт. дис. Киев, 1977.

60. Огорелков В.И. Проблема измерения и оценки знаний учащихся // Сов. педагогика. 1975. № 12.

61. Огорелков В.И., Болотник Л.В. Вопросы анализа структуры знаний учащихся и методики составления контрольных работ // Проблемы педагогической квалиметрии / Под ред. В.И. Огорелкова. М., 1975. Вып.2.

62. Огорелков В.И. Основные направления исследования проблем измерения качества знаний учащихся // Проблемы педагогической квалиметрии / Под ред. В.И. Огорелкова. М., 1974. Вып. 1.

63. Григорьева Е.А. Оценивание как метод педагогического исследования: автореф. канд. дис. Л., 1974.

64. Гусева Н.Д. Особенности применения методов многомерного статистического анализа в педагогическом исследовании: автореф. канд. дис. Л., 1973.

65. Китаев H.H. Групповые экспертные оценки. М., 1975.

66. Мизинцев В.П. Моделирование и количественные характеристики дидактических объектов: автореф. канд. дис. М., 1970.

67. Микк Я.А. Оценка учебников формулами трудности текста//Проблемы школьного учебника. М., 1977. Вып. 5.

68. Микк Я.А. Оптимизация сложности учебного текста. М., 1981.

69. Микк Я.А. Теория измерения и оптимизации степени сложности учебного материала в общеобразовательной школе: автореф докт. дис. М., 1983.

70. Анастази А. Психологическое тестирование: Пер. с англ. М., 1982. Т. 1/2.

71. Аткинсон Р. и др. Введение в математическую теорию обучения. М., 1969.

72. Буш Р.В., Мостеллер Ф. Стохастические модели обучаемости. М., 1962.

73. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. М.: Прогресс, 1976. 495 с.

74. Бирюков Б.В., Геллер Е. Ф. Кибернетика в гуманитарных науках. М., 1973.

75. Джугели Э.П., Вепхвадзе А.А. Кибернетика и проблемы обучения. Тбилиси,1981.

76. Кибернетика и педагогика / Под ред. Дж. Ушшерн: Пер. с англ. М., 1972.

77. Никапдров Н.Д. Программированное обучение и идеи кибернетики: Анализ зарубежного опыта. М., 1970.

78. Логвинов И.И. Имитационное моделирование учебных программ. М., 1980.

79. Уваров А.Ю. Информационное моделирование как метод дидактических исследований: автореф. канд. дис. М., 1971.

80. Беспалько В.П. Основы теории педагогических систем. Воронеж, 1977.

81. Беспалько В.П. Теория учебника: Дидактический аспект. М.: Педагогика, 1988.

82. Кузьмина Н.В. и др. Методы системного педагогического исследования. JI.,1982.

83. Азгальдов Г.Г. Теория и практика качества товаров (основы квалиметрии). М.: Экономика, 1982. 256 с.

84. Азгальдов Г.Г., Азгальдова JI.A. Количественная оценка качества (квалиметрия): Библиография. М., 1971.

85. Азгальдов Г.Г., Райхмап Э.П. О квалиметрии. М.: Издательство стандартов, 1972.

86. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок. М., 1980.

87. Миркин Б.Г. Анализ качественных признаков и структур. М., 1980.

88. Шмерлипг Д.С. и др. Экспертные оценки. Методы и применение (обзор) // Статистические методы анализа экспертных оценок. М., 1977.

89. Аванесов B.C. Основы научной организации педагогического контроля высшей школы. М.: Исслед. центр, 1989 г.

90. Аванесов B.C. Тесты в социологическом исследовании. М.: Наука, 1982.

91. Анализ нечисловой информации в социологических исследованиях. М., 1985.

92. Воронов Ю.П. Методы сбора информации в социологическом исследовании. М., 1974.

93. Воскерчьян С.И. Об использовании метода тестов при учете успеваемости школьников // Сов. педагогика. 1963. № 10.

94. Докторов Б.З. О надежности измерения в социологическом исследовании. JI., 1979.

95. Здравомыслов А.Г. Методология и процедура социологических исследований. М, 1969.

96. Кендэл М. Ранговые корреляции. М., 1978.

97. Раетригип JI.A. Современные принципы управления сложными объектами. М.: Сов. Радио, 1980.232 с.

98. Сатаров Г.А., Каменский B.C. Общий подход к аиализу экспертных оценок методами неметрического многомерного шкалирования

99. Beals R., Krantz D., Tversky A. Foundations of Multidimensional Scaling.-«Psychological Review», 1968, v.75, N2.

100. Coombs C.H., Dawes R.N., Tversky A. Mathematical Psychology. N.Y., 1970.

101. Roskam E.E. Metric Analysis of Ordinal Data in Psychology. Nijmegem, 1968.

102. Carrol J.D. Individual Differences and Multidimensional Scaling. Multidimensional Scaling. Theory and Applications in the Behavioral Scicnce, v.l Theory, N.Y., 1972.

103. Каменский B.C. Методы обработки порядковой информации: неметрическое многомерное шкалирование. (Обзор). В кн.: Многомерный статистический анализ в социально-экономических исследованиях. М.: Наука, 1974.

104. Краснлышков В.В. Статистика объектов нечисловой природы. Наб. Челны: Изд-во Камского политехнического института, 2001. 144 с.

105. Орлов А.И. Заводская лаборатория. 1995, Т. 61, № 3.

106. Ким Дж.-О., Мыоллер Ч.У., Клекка У.Р., Олдепдерфор М.С., Блэшфилд Р. К. Факторный, дискримипантный и кластерный анализ. М.: Финансы и статистика, 1989.

107. AngoffW.H. Norms, scales, and equivalent scores.//R.L. Thomdike (Ed.). Educational Washington, D.C.: American Council on Education. 1971.

108. Eble R.L. Essentials of educational measurement Englewood Cliffs, N.J.: Prentice-Hall. 1972.

109. Nedelsky L. Absolute grading standards for objective tests.// Educational and Pshchological Measurement. 1954. № 14, p.3-19.

110. Аванесов B.C. Композиция тестовых заданий: учебн. пособие. М.: Ассоциация инженеров-педагогов, 1996.

111. Челышкова М.Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос, 2002. 432с.

112. Васильев В.И., Тягупова Т.Н. Основы культуры адаптивного тестирования. М.: Издательство ИКАР, 2003. 584 с.

113. Гулепко В.В. Формы мышления. //Социопика, ментология и психология личности, N 4,2002 (http://socionicsl6.narod.ni/t/gul-402.html).

114. Попова Е.Д. Оценка уровня учебных достижений //Известия высших учебных заведений. Проблемы полиграфии и издательского дела №'2005, М., 2005.

115. Звегинцев В.А. К вопросу о природе языка. Вопр. философии, 1979, №11. С.75.

116. Вишняков Ю.М., Кодачигов В.И., Родзип С.И. Учебно-методическое пособие по курсам «Системы искусственного интеллекта», «Методы распознавания образов». Таганрог: Из-во ТРТУ, 1999.

117. Уотермен Д. Руководство по экспертным системам: Пер. с англ. М.: Мир, 1989. 388 с.

118. Гаврилова Т.А. Червинская K.P. Извлечение и структурирование знаний для экспертных систем. М.: Радио и связь, 1992.200 с.

119. Попов Д.И., Попова Е.Д. Подходы к оценке валидпости теста при экспертизе банков тестовых заданий // Материалы второй Всероссийской научно-методической конференции «Развитие методов и средств компьютерного тестирования». М. 2004. С. 92-95.

120. Попов Д.И. Метод вычисления обобщенной экспертной оценки качества тестовых заданий для реализации в Иптсрперт // Материалы конференции «Развитие методов и средств компьютерного адаптивного тестирования». М., 2003. С. 94-98.

121. Васильева Н.Е. Выборочный метод в аудите. // Банковский р'яд, весна 2000(1). (http://www.apko.ru/head/vasil000300.html)

122. Венецкий И.Г., Вепецкая В.И. Основные математико-статистические понятия и формулы в экономическом анализе. М.: Статистика, 1979.

123. Дружинин Н.К. Выборочный метод и его применение в социально-экономических исследованиях. М.: Статистика, 1970.

124. Джессен Р. Методы выборочных обследований. М.: Финансы и статистика, 1985.

125. Попов Д.И., Попова Е.Д. Нормативные документы по сертификации тестовых материалов для итоговой аттестации студентов //Утверждены 15.02.04 заместителем руководителя департамента лицензирования, аккредитации и аттестации Минобразования РФ. 42 с.

126. Попов Д.И., Тягупова Т.Н. Попова Е.Д. АСТ-Эксперт // Свидетельство об официальной регистрации программ для ЭВМ №2004612525 от 15.11.2004. М.: Федеральная служба по интеллектуальной собственности, патентам и товарным знакам.

127. Астапин C.B., Захаревич В.Г., Попов Д.И. Интеллектуальные средства обучения в Иптерпег // Сборник докладов Всероссийской научной конференции «Управление и информационные технологии». СПб., 2003. Т. 2. С. 278-282.

128. Асташш C.B., Курейчнк В.М., Попов Д.И., Кузьмицкий A.A. Интеллектуальная образовательная среда дистанционного обучения //Новости искусственного интеллекта. М., 2003. № 1.03 (55). С.7-14.

129. Попов Д.И. Перспективы разработки мультимедийного методического и сетевого обеспечения для ИОС Южно-Российского региона // Труды Международной научно-методической конференции «Телематика-2001». СПб., 2001. С. 230-231.

130. Попов Д.И. Технология дистанционного образования па основе интеллектуальных систем в Интернет // Сб. тр. конференции. Таганрог. 2001. С.148- 149.135. http://walker.abbyy.com.ua/finereader/forms/index.asp.

131. Васильев В.И., Демидов А.Н., Малышев Н.Г., Тягунова Т.Н. Методологические правила конструирования компьютерных "педагогических тестов. М.: Изд-во ВТУ, 2000.

132. Астанип C.B., Калашникова Т.Г. Разработка индивидуальной модели поведения обучаемого в системе дистанционного образования // Перспективные информационные технологии и интеллектуальные системы. Таганрог, 2001. №5.

133. Астаиии C.B. Мониторинг процесса обучения в системе открытого образования // Интеллектуальные САПР. Таганрог, 2001. №4.

134. Попов Д.И. Возможности интеллектуальной системы дистанционного обучения в Интерпет-KnowIedgeCT // Перспективные информационные технологии и интеллектуальные системы. 2001. №1. С. 247-254.

135. Отчет по НИР «Разработка методов представления мультимедийных электронных учебников и их реализация в ИОС южпо-росснйского региона»/ В.М. Курейчик, Д.И. Попов, C.B. Астапин и др., инвен. помер 02200206551 ВНТИЦ. 2002. 83 с.

136. Отчет по НИР «Разработка мультимедийных электронных учебников по техническим паукам»/ В.М. Курейчик, Д.И. Попов, C.B. Астапин, Н.К. Жуковская и др., инвен. помер 02200300381 ВНТИЦ. 2003. 71 с.

137. Попов Д.И., Хаджииов A.A. Виртуальная библиотека в системе дистанционного образования // Седьмая междунар. науч.-техн. копф. студентов и аспирантов «Радиоэлектроника, электротехника и энергетика»: тез. докл. В 3-х т. М., 2001. Т.1. С. 276.

138. Попов Д.И. Методы и технологии поддержки открытого образования па основе интеллектуальной информационно-образовательной среды дистанционного обучения. / Научное издание. Таганрог: Изд-во ТРТУ, 2003.168с.

139. Семенов В.В. Инднвндуалыю-личностный подход в компьютерной технологии тестирования знаний // Аналитические обзоры по основным направлениям развития высшего образования. М. 1998. Вып. 3. С. 49.

140. Назаров А.И., Сергеев A.B. Система дистанционного контроля знаний в сетях Интернет и Интранет // Дистанционное образование. М. 1999. № 1. С. 11.

141. ОганесянА.Г. Опыт компьютерного контроля знаний// Дистанционное образование. М. 1999. № 6. С. 30.

142. Буравлев А.И., Переверзев В.Ю. Выбор оптимальной длины педагогического теста и оценка надежности его результатов // Дистанционное образование. М., 1999. №2. С. 27.

143. Бершадскнй A.M., Кресский И.Г. Дистанционное обучение форма или метод // Дистанционное образование. М., 1998. № 4.

144. Состояние и развитие дистанционного образования в мире: Научно-аналитический доклад. М.: Магистр, 1997.

145. Сайт с описанием стандартов IMS и их применения// http:Wwww.imsproject.org.

146. Сайт с описанием стандартов IMS // http:Wwww.ims.com.

147. IMS Content Packaging Information Model, T.Anderson, M.McKell, A.Cooper and W.Young, C.Moffatt, Version 1.1.2, IMS, August 2001.

148. IMS Question & Test Interoperability: Overview, C.Smythe, E.Shepherd, L.Brewer and S.Lay, Version 1.2, IMS, September 2001.

149. Зепкда Д.П., Ивашко A.M. Основы безопасности информационных систем M.: Горячая линия Телеком, 2000.452 с.

150. Попов Д.И., Хаджинов A.A. Система защиты сервера дистапциоииого образования // Материалы V Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления». Таганрог, 2000. С. 124.

151. Dmitry Popov, Alexander Khadzhinov. "Safety Subsystem of Intelligent Software Complex for Distance Learning" // Proceedings of 2002 IEEE International Conference on Artificial Intelligence Systems (ICAIS 2002), IEEE Inc. 2002. P.464 465.

152. Попов Д.И., Васильев В.И. Модель представления экспертных знаний в системах автоматизации управления полиграфическим предприятием // Известия высших учебных заведений. Проблемы полиграфии и издательского дела № Г2004, М., 2004. С.44-56.

153. Попов Д.И., Голец И.Н. Представление тестовых заданий па основе теории пространства знаний // Известия Таганрогского государственногорадиотехнического университета (ТРТУ). Таганрог: Изд-во ТРТУ, 2003. С. 286— 290.

154. Попов Д.И. Способ оценки знаний в дистанционном образовании на основе нечетких отношений// Дистанционное образование (новое название журнала -«Открытое образование») № 6, М., 2000. С. 26-29.

155. Попов Д.И. Интеллектуальная система дистанционного обучения // Научный вестник Московского государственного технического университета гражданской авиации № 38/2001, М.: Изд-во МГТУ ГА. С. 16-22.

156. Попов Д.И. К вопросу об оценке степени соответствия эталону // Материалы 5-ой научно-методической конференции Инновационные методы и средства оценки качества образования, М:МГУП, 2007. С. 173-177.

157. Попов Д.И., Советов Б.Я., Касаткин В.В. Методика вычисления согласованности мнений экспертов в автоматизированной системе аттестации персонала промышленного предприятия //Вестник МАДИ(ГТУ) №3(10). -М.,2007. -С.92-94.

158. Попов Д.И., Пугачев И.Б., Ремонтова Л.В. Расчет доли угадывания ответов на тестовые задания при аттестации персонала промышленного предприятия// Вестник МАДИ(ГТУ) №3(10). М., 2007. - С.94-97.

159. Попов Д.И. Автоматизация управления процессов аттестации персонала предприятий промышленности: монография. М.: Изд-во МГУП, 2007. - 178 с.