Методология, критерии оценки эффективности и организация обучения в человеко-машинных системах тема диссертации и автореферата по ВАК РФ 19.00.03, доктор технических наук Опарина, Надежда Михайловна

• Опарина, Надежда Михайловна
• доктор технических наук
• 2005

Оглавление диссертации доктор технических наук Опарина, Надежда Михайловна

ВВЕДЕНИЕ

ГЛАВА 1. СТРУКТУРНО-ФУНКЦИОНАЛЬНЫЙ АНАЛИЗ ЭФФЕКТИВНОСТИ ПРИМЕНЕНИЯ АВТОМАТИЗИРОВАННЫХ СРЕДСТВ ПОДГОТОВКИ СПЕЦИАЛИСТОВ В УЧЕБНЫХ ЗАВЕДЕНИЯХ

1.1. Анализ эффективности систем управления и обучения в вузе

1.2. Структура основных показателей эффективности компьютеризации обучения

1.3. Показатели эффективности программно-аппаратных средств подготовки специалистов

1.4. Системные аспекты оценки эффективности ЧМС обучения

1.5. Формирование требований к средствам оценки эффективности ЧМС обучения

1.6. Психолого-педагогические проблемы оптимизации подготовки специалистов с использованием ЧМС обучения

1.7. Анализ методов оценки эффективности ЧМС обучения и постановка задачи исследования

ГЛАВА 2. МЕТОДЫ И МОДЕЛИ ОЦЕНКИ ЭФФЕКТИВНОСТИ ЧМС ОБУЧЕНИЯ

2.1. Модель взаимодействия обучаемого с техническими средствами

2.2. Оценка влияния надежности работы технических средств на эффективность их применения на занятии

2.3. Коррекция параметров модели с учетом напряженности работы обучаемых и их психофизиологических характеристик

2.4. Оценка рационального времени выполнения отдельных этапов занятия

2.5. Методика оценки требований к надежности ЧМС обучения на ранних стадиях их проектирования

2.5.1. Определение требований к показателям ремонтопригодности ЧМС обучения

2.5.2. Оценка требований к показателям безотказности ЧМС обучения Выводы

ГЛАВА 3. РАЗРАБОТКА МЕТОДА ИНТЕГРАЛЬНОЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ ЧЕЛОВЕКО-МАШИННЫХ СИСТЕМ ОБУЧЕНИЯ

3.1. Экспертные методы формирования обобщенной оценки эффективности ЧМС обучения

3.1.1. Экспертно-статистические методы интегральной оценки эффективности ЧМС обучения

3.1.2. Оценка рейтинг- качества ЧМС обучения

3.2. Общая схема процедуры агрегирования частных показателей эффективности ЧМС обучения

3.3. Методы построения агрегированных оценок эффективности ЧМС обучения

3.3.1. Формальная постановка задачи агрегирования частных показателей эффективности ЧМС обучения

3.3.2. Методы оценок парных отношений объектов в обучающей выборке формирования интегрального показателя эффективности ЧМС обучения

3.3.3. Анализ методов формирования шкал интегральных оценок эффективности ЧМС обучения

3.4. Методика построения интегрального показателя эффективности ЧМС обучения на основе функции потерь в условиях неясности внешнего критерия предпочтения

3.5. Методы агрегирования оценок эффективности ЧМС обучения для случаев представления внешнего критерия в порядковых шкалах

3.5.1. Построение агрегированного показателя при наличии внешнего критерия, имеющего вероятностное распределение

3.5.2. Построение агрегированного показателя эффективности ЧМС обучения в порядковых шкалах при наличии внешнего критерия, имеющего нечеткий характер распределения

3.6. Методика определения интегрального показателя эффективности ЧМС обучения при нечетком внешнем качественном отношении предпочтения в ранговых шкалах 169 Выводы

ГЛАВА 4. МЕТОДИКА ВЫБОРА РАЦИОНАЛЬНОГО ВАРИАНТА ОРГАНИЗАЦИИ ПОДГОТОВКИ С ИСПОЛЬЗОВАНИЕМ ЧЕЛОВЕКО-МАШИННЫХ СИСТЕМ ОБУЧЕНИЯ

4.1. Определение рационального соотношения затрат между теоретическими и практическими видами подготовки специалистов в ЧМС обучения с учетом имеющихся ресурсов

4.2. Расчет рациональной структуры распределения временных и материальных ресурсов между темами подготовки обучаемых

4.3. Методы оценки рационального времени подготовки специалистов

4.3.1. Методика определения рационального времени обучения для профессиональной деятельности специалистов с известным уровнем потерь

4.3.2. Методика определения рационального времени обучения для профессиональной деятельности специалистов с неизвестным уровнем потерь

4.3.3. Метод прогнозирования процесса текущей подготовки специалистов на основе марковских моделей

4.4. Методика выбора рациональных параметров ЧМС обучения специалистов по критерию надежности обслуживаемой ими техники

4.4.1. Уровни обученности и их влияние на критерий надежности функционирования

4.4.2. Оценка целесообразности применения ЧМС обучения для повышения квалификационной подготовки специалистов учетом надежности их эксплуатации

4.4.3. Методика выбора рационального варианта ЧМС обучения с учетом эффективности квалификационной подготовки специалистов и допустимого уровня затрат 224 Выводы 227 Заключение 228 Литература 230 Приложение 1. Оценка экономической эффективности ЧМС обучения 243 Приложение 2. Описание системы априорной оценки дидактической эффективности

Введение диссертации (часть автореферата) на тему «Методология, критерии оценки эффективности и организация обучения в человеко-машинных системах»

Человеко-машинные системы (ЧМС) обучения в силу специфики ЭВМ и реализуемых в них методов, относятся к классу наиболее эффективных средств воздействия на обучаемых. Прочность усвоения учебного материала требует чрезвычайно глубокого технического и психолого-педагогического анализа возможности и целесообразности применения человеко-ориентированных средств обучения в различных видах и формах тренажерной подготовки обучаемых для работы в сложных высокотехнологичных системах подготовки специалистов.

Существующие методы количественной оценки эффективности систем обучения базируются в основном на экспертных методах оценок значимости параметров ЧМС обучения. Такой подход позволяет дать лишь сравнительную оценку эффективности человеко-машинных систем обучения и не дает возможности учесть целевые, организационные, аксиологические и прочие особенности организации процесса подготовки специалистов и его оптимизации.

В исследованиях А.Н. Савельева, Е.К. Марченко, П.А. Белоусова, Р.В. Агузумцяна, A.M. Довгялло, А.П. Свиридова, В.М. Мачулина предприняты попытки на единой основе представить композицию субъектов и объектов, математического и технического, психологического и собственно педагогического компонентов информационно-компьютерных сред систем профессиональной подготовки. Методической основой этих исследований являлась теория надежности и эффективности деятельности человека — оператора в СЧМ (В.А.Бодров, А.И.Губинский, Ю.Я.Голиков, В.М Львов, Г.В.Суходольский, В.Г.Евграфов и др.) и концепция эргономического обеспечения разработки и эксплуатации человеко - машинных систем (Г.М.Зараковский, В.П.Зинченко, В.П.Мунипов, В.В.Павлов, Ю.Л.Трофимов,

П.Я.Шлаен и др.). Итогом этих работ можно считать техническое, эргономическое и психолого-педагогическое обоснование основных структурных характеристик ЧМС обучения, широкий спектр аспектов которых объединен в понятие "архитектура ЧМС обучения".

Современные ЧМС обучения являются средством создания и реализации компьютерных технологий обучения в сфере профессиональной подготовки специалистов. К числу основных факторов, определяющих соответствие ЧМС обучения этому целевому предназначению относятся следующее: а) возможность ЧМС обучения в реализации функций управления обучением с учетом личностных характеристик специалистов, уровня их подготовки, напряженности деятельности и т.п.; б) возможность ЧМС обучения в адекватном представлении содержания обучения как внутренней структуры каждого занятия, так и структур отдельных тем и видов подготовки;

Сложность разработки методологии оценки эффективности ЧМС обучения заключается в разнородности используемых для представления эффективности ЧМС обучения признаков, иерархичности их взаимосвязей и нестатистической неопределенности их оценок.

К недостаткам существующих методов оценок эффективности ЧМС обучения следует отнести отсутствие развитых средств количественных оценок эффективности ЧМС обучения, способных на основе априорной информации количественно определять эффект от применения ЧМС обучения с учетом напряженности деятельности и личностных характеристик обучаемых, уровней их подготовки, показателей надежности аппаратуры и внутренней структуры учебного материала. Кроме этого, до настоящего времени эти факторы были не соотнесены с системными техническими характеристиками программно-аппаратных средств в ЧМС обучения, а также с возможностью их учета в системе целевого соответствия ЧМС обучения в сфере профессиональной подготовки специалистов конкретного профиля.

Такое положение приводит к большому разрыву между потенциально высокими возможностями ЭВМ и тем уровнем, который реально достигнут в области их использования. Из большого количества обучающих и тренажных систем, построенных на базе ЭВМ, лишь немногие являются действительно эффективными. Большинство из них, в смысле обучающей эффективности, не оправдывают вложенных затрат. Здесь имеются в виду не только затраты экономические, но, главным образом, затраты труда преподавателей и программистов, а также и собственно обучаемых, учебное время которых в значительной мере используется непроизводительно и неэффективно.

Для решения этой задачи необходима продуманная, научно обоснованная система информационных, технических мероприятий, направленных на актуализацию потенциально высоких возможностей ЭВМ в интересах совершенствования учебного процесса. Создание такой системы невозможно без разработки развитого инструментария, обеспечивающего количественный анализ эффективности применения обучающих систем и комплексов с учетом возможности их реализации в системе подготовки специалистов заданного профиля.

Поэтому особую актуальность приобретает проблема повышения эффективности процесса подготовки специалистов для работы в сложных высокотехнологичных системах на основе разработки методологии комплексной оценки эффективности ЧМС обучения, учитывающей в единстве их эргономические, экономические, технические, эксплуатационные характеристики.

Данная проблема вызвана противоречием, связанным с ростом возможностей воздействия человеко-ориентированных систем обучения, использующих новые информационные и компьютерные технологии, расширением сферы применения ЧМС обучения, как общедоступной формы приобретения знаний и отсутствием комплексных методов оценки эффективности ЧМС в процессе обучения с учетом их методических и конструктивных особенностей, надежностных характеристик, психологических особенностей обучаемых и уровня их квалификации.

Объектом исследования диссертации являются человеко-машинные системы подготовки специалистов.

Предметом исследования являются методы и средства оценки ЧМС обучения, их эргономические, надежностные и технические показатели.

Целью и задачами исследования является исследование проблемы повышения эффективности процесса обучения специалистов в ЧМС на основе разработки научно методического аппарата оценки эффективности ЧМС обучения на стадии их проектирования, учитывающего конструктивные, эргономические и обучающие особенности ЧМС, их надежностные характеристики, психологические особенности обучаемых и уровень их квалификации, а также учет этих показателей в определении рациональной внутренней структуры образовательного процесса.

Для достижения поставленной цели требуется решить следующие основные задачи:

1. На основе изучения процессов развития и функционирования специалистов как субъектов труда в процессе обучения определить состав основных эргономических, технических и эксплуатационных показателей эффективности ЧМС обучения, существующие методы оценки эффективности ЧМС обучения и сформулировать цель и задачи исследования.

2. Разработать научно-методический аппарат оценки эффективности человеко-машинных систем обучения, включающий: методы и модели априорной оценки их эффективности, с учетом влияния надежности работы технических средств обучения на эффективность их применения, а также с учетом напряженности работы обучаемых и их психофизиологических данных;

3.Разработать общую схему процедуры агрегирования и формальную постановку задачи агрегирования частных показателей эффективности человеко-машинных обучающих систем, методику построения интегрального показателя эффективности на основе функции потерь в условиях неясности внешнего критерия предпочтения, а также метод и схемы его реализации при представлении внешнего критерия в порядковых шкалах или имеющего вероятностный и нечеткий характер распределения.

Разработать комплекс методик, определяющих рациональные значения организационно-технических факторов, оказывающих влияние на эффективность применения ЧМС обучения.

4.Разработать методику и провести оценку экономической эффективности проектируемых ЧМС обучения на основе комплекса математических моделей, учитывающих технические, эксплуатационные и эргономические показатели проектируемых систем.

5.Провести экспериментальное подтверждение достоверности и адекватности разработанных методов оценки эффективности на ранних этапах проектирования ЧМС обучения.

Методы исследования базируются на аппарате теории графов, теории множеств, теории массового обслуживания, на использовании методов оптимального программирования, на анализе эргономических особенностей деятельности человека в человеко-машинных системах обучения, теории построения моделей сложных человеко-ориентированных систем, системного анализа.

Научная новизна полученных результатов состоит в следующем:

1. Методы и модели априорной оценки эффективности ЧМС обучения, в отличие от существующих, базируются на единой структуре взаимодействия обучаемых с программно-техническими средствами, и позволяют унифицировать процесс априорного анализа альтернативных вариантов ЧМС обучения на ранних этапах проектирования и существенно расширяют спектр учитываемых при этом факторов, а именно: надежность работы программно-аппаратного комплекса, напряженность работы обучаемых, их личностные характеристики, время выполнения отдельных этапов занятия.

2. Метод интегральной оценки эффективности ЧМС обучения, включающий в себя, в отличие от известных, общую схему процедуры агрегирования и формальную постановку задачи агрегирования частных показателей эффективности ЧМС обучения и позволяющий построить интегральный показатель эффективности ЧМС обучения как в условиях неясности внешнего критерия предпочтения, так и для случаев его представления в порядковых шкалах, а также имеющего вероятностное и нечеткое распределение.

3. Методики выбора рационального варианта ЧМС обучения, отличающиеся от известных, учетом надежности обслуживаемой техники, имеющихся ресурсов при выборе затрат между теоретическими и практическими видами подготовки специалистов в ЧМС обучения, рациональным распределением временных и материальных ресурсов между темами подготовки обучаемых, времени подготовки специалистов с известным и неизвестным уровнем подготовки.

Практическая ценность работы состоит в том, что практические методы априорной оценки эффективности ЧМС обучения, предложенный математический аппарат, формализованные процедуры и программные средства дают возможность проектировать и определять рациональные варианты процесса подготовки специалистов для работы в сложных системах с учетом имеющихся ресурсов. Они могут использоваться на предприятиях-разработчиках сложных человеко-машинных комплексов и технических средств обучения, а также в вузах и центрах подготовки специалистов.

Достоверность и обоснованность научных положений, результатов и выводов, сформулированных в диссертации, подтверждается вычислительными экспериментами, данными, полученными на имитационных моделях, апробацией работы на международных и региональных конференциях, а также результатами практического использования предложенных в диссертации моделей, методов и средств, подтвержденных актами об использовании и внедрении.

Основные научные положения, выносимые на защиту:

1. Методы и модели априорной оценки дидактической эффективности ЧМС обучения, объединенные единой методикой, и включающие: модель взаимодействия обучаемого с техническими средствами; модель влияния надежности работы технических средств на эффективность их применения на занятии; метод коррекции параметров модели с учетом напряженности работы обучаемых и их психофизиологических характеристик; метод оценки рационального времени выполнения отдельных этапов занятия.

2. Метод интегральной оценки эффективности ЧМС обучения, включающий в себя: общую схему процедуры агрегирования и формальную постановку задачи агрегирования частных показателей эффективности ЧМС обучения; методику построения интегрального показателя эффективности ЧМС обучения на основе функции потерь в условиях неясности внешнего критерия предпочтения; метод агрегирования оценок эффективности ЧМС обучения для случаев представления внешнего критерия в порядковых шкалах; схемы реализации метода для случаев представления внешнего критерия, имеющего как вероятностный, так и нечеткий характер распределения.

3. Комплекс методик выбора рационального варианта ЧМС обучения, включающий: методику определения рационального соотношения затрат между теоретическими и практическими видами подготовки специалистов в ЧМС обучения с учетом имеющихся ресурсов; методику расчета рациональной структуры распределения временных и материальных ресурсов между темами подготовки обучаемых; методику оценки рационального времени подготовки специалистов с известным и неизвестным уровнем потерь; методику выбора рациональных параметров человеко-ориентированных систем обучения специалистов по критерию надежности обслуживаемой ими техники.

Реализация результатов работы. Основные положения диссертации использовались в итоговых отчетах НИР "Становление", "Гомеостаз", "Образование", "База-2000, Военном институте радиоэлектроники, в программных средствах оценки эффективности ЧМС обучения, в ведущих вузах Хабаровска, Санкт-Петербурга, Твери.

Апробация работы. Основные результаты работы докладывались и обсуждались на конференциях различного уровня, а именно на:

• Межвузовской конференции ПВУРЭ ПВО, Спб, 1996г.;

• П Межвузовской научно-технической конференции Санкт-Петербургской Академии МВД СПб, 1997г.;

• Межвузовской научно-технической конференции ВИКИ имАФМожайского, 1997г.;

• Межвузовской конференции ВМУ им. В.М. Фрунзе, 1997г.;

• Межвузовской научно-технической конференции ПВО сухопутных войск, Смоленск, 1997г.;

• Ш межведомственной научно-технической конференции ПВУРЭ ПВО, Спб, 1997г.;

• III межвузовской конференции Академии МВД РФ, 1997г.;

• Международной научной конференции Академии МВД «Новые информационные технологии», 1998г.;

• Международной научно-методической конференции «Современные технологии подготовки и переподготовки управленческих кадров для государственной и муниципальной службы», ДВАГС, 2000г.;

• Всероссийской научно-практической конференции «Информатизация образования-2000», ДВАГС, 2000г.;

• XI межвузовской научной конференции «Военная радиоэлектроника: опыт использования и проблемы, подготовка специалистов», Спб, ВМИРЭ, 2000г.;

• VII международной научной конференции «Региональная информатика 2000», СПб, 2000г.;

• научно-технической конференции ХФ СибГУТИ «Информатика и проблемы телекоммуникаций», ХФ СибГУТИ, 2001г.;

• IV межрегиональной научно-методической конференции «Инновационные технологии обучения в высшей школе: опыт, проблемы, перспективы», ДВАГС, 2001г.;

• Практической конференции Дальневосточного филиала Московского университета потребительской кооперации «Современная цивилизация в глобальной политике, экономике и культуре», ДФМУПК, 2004г.;

• Межрегиональной научно-практической конференции «Социально-политические процессы на Дальнем Востоке России: анализ, регулирование, прогноз», Правительство Хабаровского края, ДВО РАН и ХГТУ, 2004г.;

• Международной конференции «Перспективы развития российско-корейского сотрудничества в области образования», Хабаровский региональный координационный Совет корейских общественных организаций, ДВО РАН, 2004г.;

• Международной научной конференции «Регионы нового освоения: стратегия развития», ДВО РАН, ИВЭП ДВО РАН, Правительство Хабаровского края, 2004г.;

• Международной научной конференции «Научные мосты между Северной Америкой и российским Дальним Востоком», Владивосток, 2004г.;

• Научно-практической конференции «Конституция России: становление правового государства и демократизация общества (обобщение опыта, проблемы и перспективы)», ДВИЗиП, 2004г.;

• Межрегиональной научно-методической конференции «Современные технологии в высшем профессиональном образовании», ДВГУПС, 2004г.; и получили положительную оценку. Публикации.

По теме диссертации опубликовано 50 печатных работ, в том числе две монографии (личных), учебное пособие, 5 статей в журналах, рекомендованных ВАК для опубликования результатов докторских диссертаций, а также 29 тезисов докладов в сборниках трудов Международных, Всероссийских и Региональных научно-технических конференций и 15 научных статей в тематических сборниках.

Структура и объем диссертационной работы. Диссертация состоит из введения, четырех глав, заключения, списка используемой литературы и приложения. Общий объем диссертации - 269 стр., основного текста - 228 стр., включая 32 стр. рисунков и таблиц, список литературы из 131 наименований на 13 стр.

Заключение диссертации по теме «Психология труда. Инженерная психология, эргономика.», Опарина, Надежда Михайловна

Выводы

Эффективность применения обучающих машин и комплексов определяется не только их техническими, функциональными, эргономическими и прочими характеристиками, но и структурой внутренней организации учебного материала и контролирующих процедур.

Решение этой задачи предусматривает рациональный выбор распределения временных, стоимостных и материально-технических ресурсов ЧМС обучения между отдельными темами и видами занятий, оценку периодичности контроля с учетом интенсивности обучения специалистов и стоимости совершаемых ими ошибок в процессе их практической деятельности.

Существенное значение для повышения эффективности практического применения ЧМС обучения имеет также рациональный выбор продолжительности обучения специалистов.

Многообразие применяемых для решения этих задач моделей объясняется прежде всего попыткой по возможности наиболее полного учета в оценках перечисленных выше параметров ЧМС обучения комплекса характеристик субъектов обучения и факторов внешней среды.

228

ЗАКЛЮЧЕНИЕ

В рамках решения проблемы необходимости создания научно-методического аппарата оценки эффективности обучения в человеко-ориентированных обучающих системах, учитывающего в общем единстве ряд их характеристик получены следующие новые научные результаты:

1. Решена крупная научная проблема разработки методологии комплексной оценки эффективности ЧМС обучения, учитывающая в комплексе экономические, эргономические, технические, эксплуатационные и физиологические характеристики ЧМС обучения, и имеющая важное значение для повышения качества процесса подготовки специалистов.

2. Определены сферы основных показателей эффективности ЧМС обучения, проанализированы существующие методы оценки эффективности систем обучения, обоснованы принципы обеспечения и сделаны выводы о комплексном и целостном характере показателей эффективности, характеризующих несводимые к друг другу свойства человеко-машинных обучающих систем, о наличии жесткой взаимосвязи технических и психологических аспектов применения ЧМС обучения в системах подготовки специалистов и их влияния на показатели эффективности человеко-ориентированных обучающих систем.

3. Разработан научно-методический аппарат оценки эффективности ЧМС обучения, включающий: методы и модели априорной оценки эффективности человеко-ориентированных обучающих систем, метод интегральной оценки эффективности ЧМС обучения и комплекс методик выбора их рационального варианта.

4. Разработаны: модели взаимодействия обучаемого с техническими средствами обучения, с учетом влияния надежности работы технических средств на эффективность их применения на занятии; методы коррекции параметров моделей с учетом напряженности работы обучаемых и их психофизиологических характеристик, оценки рационального времени выполнения отдельных этапов занятия.

5. Разработана общая схема процедуры агрегирования и формальная постановка задачи агрегирования частных показателей эффективности ЧМС обучения. Разработана методика построения интегрального показателя эффективности ЧМС обучения на основе функции потерь в условиях неясности внешнего критерия предпочтения, а также метод и схемы его реализации при представлении внешнего критерия в порядковых шкалах, представления внешнего критерия, имеющего вероятностное и нечеткое распределение.

6. Разработан комплекс методик: определения рационального соотношения затрат между теоретическими и практическими видами подготовки специалистов в человеко-ориентированных обучающих системах с учетом имеющихся ресурсов; расчета рациональной структуры распределения временных и материальных ресурсов между темами подготовки обучаемых; оценки рационального времени подготовки специалистов с известным и неизвестным уровнем потерь; выбора рациональных параметров ЧМС обучения специалистов по критерию надежности обслуживаемой ими техники.

7. Разработана методика и проведена оценка экономической эффективности проектируемых человеко-машинных обучающих систем на основе комплекса математических моделей, учитывающих технические, эксплуатационные и эргономические (физиологические) показатели проектируемых систем.

8. Проведено экспериментальное подтверждение достоверности и адекватности разработанных методов оценки эффективности на ранних этапах проектирования человеко-машинных систем обучения.

Список литературы диссертационного исследования доктор технических наук Опарина, Надежда Михайловна, 2005 год

1. Аванесов, B.C. Основы научной организации педагогического контроля в высшей школе Текст./ В.С.Аванесов// Государственный комитет СССР по народному образованию. М., 1989. - 166 с.

2. Аванесов, B.C. Тесты в социологическом исследовании. Текст./

3. B.С.Аванесов// -М: Наука, 1982. 197 с.

4. Агузумцян, Р.В. Инженерно-психологические проблемы создания автоматизированных систем обучения Текст./ Р.В.Агузумцян// Психологический журнал.- Т.8.- 1987.- № 6. С. 118-124.

5. Азгальдов, Г.Г. О применении экспертного метода для измерения качества Текст./ Г.Г. Азгальдов// Стандарты и качество.-М., 1969.- № 1. С.13-15.

6. Айвазян, С.А., Бухштабер В.М. и др. Прикладная статистика. Классификация и снижение размерности. Текст./ С.А.Айвазян, В.М. Бухштабер. М.: Финансы и статистика, 1989. - 608 с.

7. Айвазян, С.А. Прикладная статистика. Исследование зависимостей. Текст./

8. C.А.Айвазян, И.С.Енюков, Л.Д.Мешалкин.- М.: Финансы и статистика, 1985. -487 с.

9. Аоки, М. Введение в методы оптимизации. Текст./ М. Аоки.- М.: Наука, 1977. -338 с.

10. Ананьев, Б.Г. Проблема "человеческого фактора" в управлении Текст./ Г.Г.Ананьев// Психологические проблемы социальной регуляции поведения. М.: Наука, 1976.-С.41-63.

11. Авен, О.Н. Оценка качества и оптимизации вычислительных систем. Текст./ О.Н. Авен, Н.Н.Гурин, Я.С.Коган. М.: Наука, 1982. - 464 с.

12. Андреев, В.Л. Классификационные построения в экологии и систематике. Текст./ В.С.Андреев.- М.: Наука, 1980. 142 с.

13. Андреев, В.Л. Классификационные построения в экологии и систематике (набор типовых программ для ЭВМ МИР-2). Текст./ В.Л.Андреев Владивосток: ДВЦН АН СССР, 1980. - 78 с.

14. Арефьев, И.Б. Распознавание проблемных ситуаций при автоматизации проектирования элементов ИАСУ Текст./ И.Б.Арефьев // Автоматизация проектирования систем планирования и управления. М.: ИПУ АН СССР, 1987. -С.119-122.

15. Батаршев, А.В. Организаторские и коммуникативные качества личности. Текст./ А.В. Батаршев М: Мир, 1997 -146 с.

16. Багрецов, С.А. Автоматизированные системы обучения. Методы и средства оценки эффективности. Текст./ С.А.Багрецов, Н.М. Опарина, В.М. Львов, Б.Я. Шлаен Тверь, Изд-во ООО «Триада», 2005. - 104с

17. Багрецов, С.А. Контроль знаний в АОС. Текст./ С.А.Багрецов, Б.А. Артамонов и др. СПб, МО, МВД РФ, 1997. - 640 с.

18. Багрецов, С.А. Социально-психологические аспекты изучения личности и коллектива. Текст./ С.А.Багрецов, В.А. Кулганов и др. СПб, ВИКА, 1996. -307 с.

19. Багрецов, С.А. Диагностика и прогнозирование функциональных состояний операторов в деятельности. Вопросы проектирования и применения. Текст./ С.А.Багрецов, В.М. Львов, С.К. Колганов-М.: Радиосвязь, 2000. 190 с.

20. Багрецов, С.А. Методы и средства информационно-аналитического обеспечения процессов управления ресурсами социального развития региона. Текст./ С.А.Багрецов, М.А. Львов, К.К. Соколов Тверь: ООО "Губернская медицина", 2000. - 319 с.

21. Багрецов, С.А. Последовательное агрегирование в оценке эффективности групповой деятельности операторов Текст./ С.А.Багрецов, И.П. Горелов// Приборостроение. 1994 - № 4.

22. Багрецов, С.А. Оценка меры близости ответа обучаемого и эталона в контролирующих процедурах АСО. Текст./ С.А.Багрецов, Г.В. Любивая, Г.М. Попов Л.: МО ПВУРЭ, 1989. - 110 с.

23. Багрецов, С.А. Методологические проблемы организации, проведения и обработки психолого-педагогического эксперимента. Текст./ С.А.Багрецов. Л: ПВУРЭ, 1990.-235 с.

24. Багрецов, С.А. Методика оценки экономической эффективности обучающих систем. Текст./ С.А.Багрецов. Л.: ПВУРЭ, 1989. - 37 с.

25. Багрецов, С.А. Оценка знаний обучаемых в автоматизированных обучающих системах. Текст./ С.А.Багрецов.- Часть 1.- СПб, ПВУРЭ, 1991.

26. Багрецов, С.А. Методические рекомендации по оценке дидактической эффективности обучающих систем. Текст./ С.А.Багрецов, Г.М. Попов Л.: МО СССР, 1988.- 125 с.

27. Беллман, Р. Принятие решений в расплывчатых условиях. Текст./ Р. Белман, Л.Заде. В кн.: Вопросы анализа и процедуры принятия решений.- М., 1976, С. 172-215.

28. Белоусов, П.А. Эффективность автоматизированного обучения Текст./ П.А.Белоусов. // Современная высшая школа. 1986.- Т.54. № 2.- С. 139-147.

29. Беспалько, В.П. О критериях качества подготовки специалиста Текст./ В.П.Беспалько. // Вестник высшей школы. 1988.- № 1. - С. 3-9.

30. Беспалько, В.П. Основы теории педагогических систем. Текст./ В.П.Беспалько. Воронеж: Изд-во Воронеж, ун-та, 1977. - 286 с.

31. Беспалько, В.П. Слагаемые педагогической технологии. Текст./ В.П.Беспалько. -М.: Педагогика, 1989. 201 с.

32. Бешелев, С.Д. Экспертные оценки. Текст./ С.Д. Бешелев, Ф.Г. Гуревич. -М.: Наука, 1973.- 159 с.

33. Благуш, П. Факторный анализ с обобщениями Текст./ П.Балагуш // Пер. с чеш. М.: Финансы и статистика, - 1989. - 215 с.

34. Борисов, А.Н. Обработка нечеткой информации в системах принятия решения. Текст./ А.Н.Борисов, А.В. Алексеев и др. М.: Радио и связь, 1989. -297 с.

35. Введение в эргономику / Под ред. В.П.Зинченко. М.: Сов. радио, 1974. - 352 с.

36. Венда, В.Ф. Системы гибридного интеллекта Текст./ В.Ф.Венда. М.: Машиностроение, 1990. - 445 с.

37. Возможности конструктивного и выборочного методов ответов при программированном обучении. Сб. статей под ред. И.А .Данилова. - М.: Высш. школа, 1969. - 165 с.

38. Гласс, Дж. Статистические методы в педагогике и психологии Текст./ Дж.Гласс, Дж.Стенли / Пер. с англ.; Ред. Ю.П.Адлер. М.: Прогресс, 1976. - 477 с.

39. Губинский, А.И. Эргономическое проектирование судовых систем управления. Текст./ А.И. Губинский, В.Г. Евграфов- Л.: Судостроение, 1977.- 224 с.

40. Губинский, А.И. Надежность и качество функционирования эргатических систем. Текст./ А.И. Губинский. Л.: Наука, 1987 - 270 с.

41. Демин, Л.С. Автоматизированные обучающие системы профессиональной подготовки операторов летательных аппаратов. Текст./ Л.С. Демин, Ю.Г. Жуковский, А.П. Семин и др.- М.: Машиностроение, 1986. 227 с.

42. Дмитриев, А.К. Распознавание отказов в системах электроавтоматики. Текст./ А.К. Дмитриев,- Л.: Энергоатомиздат, 1983. 99 с.

43. Довгяло, A.M. Обучающие системы нового поколения Текст./А.М. Довгялло.- УСиМ, 1986.- № 1. С. 82-86.

44. Дубинский, Ю.М. Методологические основы информатизации обучения в вузах правоохранительных органов и министерства обороны России Текст./ Ю.М. Дубинский: Автореф. дис. докт. техн. наук. М.: АООГТ, 1997. - 47 с.

45. Естественно-научные основы психологии / Под ред. А.А. Смирнова и др. -М.: Педагогика, 1981. 367 с.

46. Жепард, Р.Н. Многомерное шкалирование и неметрические представления / Нормативные и дискрептивные модели принятия решения. Текст./ Р.Н. Жепард -М.: Наука, 1981. С.84-98.

47. Загоруйко, Н.Г. Меры расстояния в пространстве знаний / Анализ данных в экспертных системах Текст./ Н.Г. Загоруйко, М.В. Бушуев. Новосибирск: АН СССР, 1986. - С.24-35.

48. Заде, JL Понятие лингвистической переменной и его применение к принятию приближенных решений. Текст./Л. Заде М.: Мир, 1976.

49. Закс, JL Статистическое оценивание. Текст./ Л. Закс М.: Статистика, 1976.- 530 с.

50. Закревский, А.Д. Алгоритм синтеза дискретных автоматов. Текст./ А.Д. Закревский М.: Наука, 1971. - 126 с.

51. Зараковский, Г.М. Психофизиологический анализ трудовой деятельности. Текст./ Г.М. Зараковский. М.: Наука, 1966. - 114 с.

52. Зайцева, Л.В. Оценка дидактической эффективности диалоговых обучающих систем. Текст./ Л.В. Зайцева, Л.П. Новицкий Рига: Изд-во РПИ, 1987.-36 с.

53. Зигель, А. Модели группового поведения в системе "человек-машина" Текст./ А.Зигель, Дж. Вольф// Пер. с англ.; Под ред. Г.Е. Журавлева. М.: Мир, 1973.-261 с.

54. Иванов, В.Н. Электроизмерительные приборы и ИВК Текст./ В.Н. Иванов, B.C. Мирошниченко// Приборы и системы управления.- 1989.- № 10. С.26.

55. Кандель, А. Нечеткие множества, нечеткая алгебра, нечеткая статистика Текст./ А.Кандель // ТИИЭР.-1978. Т.66.- № 12.

56. Картамашев, П.В. Методика летного обучения. Текст./ П.В. Картамашев, М.В. Игнатович, А.И. Оркин М.: Транспорт, 1987. - 277 с.

57. Квурт, Л.С. Об эффективности работы автоматизированной обучающей системы Текст./ Л.С. Квурт // Вестн. Львов, политех, ин-та.- 1982.- № 168.- С. 5356.

58. Китаев, Н.Н. Групповые экспертные оценки Текст./ Н.Н. Китаев// Новое в жизни, науке и технике. Сер. "Математика и кибернетика". М.: Знание, 1975. -64 с.

59. Козлов, Б.А. Справочник по расчету надежности. Текст./ Б.А. Козлов, И.А. Ушаков.- 2-е изд. М.: Наука, 1975.- 280 с.

60. Корн, Г. Справочник по математике. Текст./ Г. Корн, Т. Корн. М.: Наука, 1971. - 831 с.

61. Кофман, А. Введение в теорию нечетких множеств. Текст./ А. Кофман. -М.: Радио и связь, 1982. -293 с.

62. Краснощеков, П.С. Последовательное агрегирование в задачах внутреннего проектирования технических систем Текст./ П.С. Краснощеков и др // Техническая кибернетика. 1979.- № 5.- с. 28-35.

63. Лотфи, Л. Основы нового подхода к анализу сложных систем и процессов принятия решений Текст./ Л. Лофти, Л. Заде // Математика сегодня. 1974.- № 7.-С.3-49.

64. Мазуров В.Д. Метод комитетов в задачах оптимизации и классификации Текст./ В.Д. Мазуров М.: Наука, 1990. - 245 с.

65. Марков, А.А. Введение в теорию кодирования. Текст./ А.А. Марков М.: Наука,1982.- 190 с.

66. Марченко, Е.К. Методы квалиметрии в педагогике. Текст./ Е.К. Марченко.-М.: Знание, 1979.-33 с.

67. Марченко, Е.К. Принципы построения и дидактические возможности автоматизированных обучающих систем на базе ЭВМ. Текст./ Е.К. Марченко// В сб. Автоматизированные обучающие системы на базе ЭВМ. М.: Знание,1982. С. 34-66.

68. Мачулин, В.В. Основы автоматизированного синтеза математических моделей информационно-вычислительных комплексов АСУ. Текст./ В.В. Мачулин. -М.: МО СССР, 1986. 236 с.

69. Мачулин, В.В. Теоретические основы автоматизированных систем обучения. Текст./ В.В. Мачулин. М.: МО СССР, 1989. - 250 с.

70. Медем, Е.В. Контроль знаний и эффективность обучения с помощью автоматизированных обучающих устройств Текст./ Е.В. Медем, В.К. Успенский //УСиМ. 1976.-№3.-С. 135-136.

71. Мельников, В.М. Введение в экспериментальную технологию личности. Текст./В.М. Мельников, Л.Т. Ямпольский М.: Просвещение, 1985. - 315 с.

72. Мендельсон, Э. Введение в математическую логику. Текст./ Э. Мендельсон М.: Наука, 1984. - 240 с.

73. Месарович, М. Общая теория систем: Математические основы. Текст./ М. Месарович, Я. Такахара М.: Мир, 1978. - 342 с.

74. Мейстер, Д. Эргономические основы разработки сложных систем. Текст./ Д. Мейстер М.: Мир, 1979. - 455 с.

75. Миркин, Б.Г., Проблема группового выбора. Текст./ Б.Г. Миркин М.: Прогресс, 1974.- 178 с.

76. Мунипов, В.М., Стандартизация качества продукции и эргономика. Текст./ В.М. Мунипов, В.И. Дуниляк, В.К. Оше М.: Изд-во стандартов, 1982. - 198 с.

77. Мучник, И.Б., Методы построения интегрального показателя в задаче обработки данных Текст./ И.Б. Мучник, А.А Ослон // Автоматика и телемеханика. 1984.- № 10. С.5-22.

78. Николаев, Е.А., Оценка эффективности применения в учебном процессе вуза технических средств программированного контроля Текст./ Е.А. Николаев, А.Г. Молчан// Новые методы и средства обучения в высш. шк. Вып. 2. Таганрог, 1976. С. 110-116.

79. Новоселов, О.Н., Основы теории и расчета информационно-измерительных систем. Текст./О.Н. Новоселов, А.Ф. Фомин- М.: Машиностроение, 1980.-280 с.

80. Опарина, Н.М., Оценка дидактической эффективности АСО Текст./ Н.М. Опарина: монография.-Хабаровск: Изд-во Хабар, гос. техн. ун-та, 2004

81. Опарина, Н.М. Структурный анализ эффективности применения систем обучения в вузах Текст./ Н.М. Опарина // Вестник Балтийской педагогической академии. Вып. 51 Актуальные проблемы психологии труда и развития.- СПб: ИНЖКОН, 2004.-С 118-122

82. Опарина, Н.М. Структура основных показателей эффективности систем обучения Текст./ Н.М. Опарина // Вестник Балтийской педагогической академии. Вып. 51 Актуальные проблемы психологии труда и развития,- СПб: ИНЖКОН, 2004.-123-127

83. Опарина, Н.М. Системные аспекты оценки эффективности систем обучения» Текст./ Н.М. Опарина // Вестник Балтийской педагогической академии. Вып. 51 Актуальные проблемы психологии труда и развития.- СПб: ИНЖКОН, 2004.- С.128-132

84. Опарина, Н.М., Структура компьютерной технологии обучения в вузах Текст./ Н.М. Опарина, С.А. Багрецов, Ю.А. Понамарев// Вестник Балтийской педагогической академии. Вып. 50 Актуальные проблемы психологии труда и развития.- СПб: ИНЖКОН, 2004.- С 153-160

85. Опарина, Н.М., Об учете индивидуальных особенностей в процессе компьютеризированного обучения Текст./ Н.М. Опарина, О.А. Дроздов // ЧФ: проблемы психологии и эргономики №2, 2004.-С 23-26

86. Опарина, Н.М., Адаптация студентов к обучению в вузе: циклогенетический подход Текст./ Н.М. Опарина, О.А. Дроздов // ЧФ: проблемы психологии и эргономики №2, 2004.-С 31-35

87. Опарина, Н.М., О совершенствовании диагностики психосоциальных качеств специалистов Текст./ Н.М. Опарина, О.А. Дроздов // ЧФ: проблемы психологии и эргономики №2, 2004.-С 35-38

88. Опарина, Н.М. Интегральная оценка эффективности человеко-машинных систем обучения и выбор рационального варианта организации подготовки специалистов с их использованием Текст./ Н.М.Опарина. Хабаровск: Изд-во ДВГУПС, 2005. - 103 е.: ил.

89. Опарина, Н.М. Компьютерное адаптивное тестирование при подготовке специалистов. Текст./ Н.М.Опарина// Педагогическая информатика. 2005. -№1. - С.74-77.

90. Опарина, Н.М. Влияние психофизиологических характеристик обучаемых на эффективность их работы при использовании АСО Текст./ Н.М.Опарина// Педагогическая информатика. 2004. -№2. - С.81-88.

91. Опарина, Н.М. Влияние информатизации на социально-экономическое развитие региона Текст./Н.М. ОпаринаУ/Регионы нового освоения: стратегия развития: материалы междунар. науч.конф., 2004г., г.Хабаровск.-Хабаровск: изд-во ДВО РАН, 2004. С.187-188.

92. Опарина, Н.М. Алгоритм непосредственного ранжирования альтернатив по результатам экспертных оценок Текст./ Н.М.Опарина, С.А.Багрецов,

93. B.С.Артемьев// Социально-психологические и экономические проблемы развития организации и общества. Тверь: ФГУП «Эргоцентр», 2004. - С. 72-79.

94. Опарина, Н.М. Принципы учета множественности целей при принятии решений в системах поддержки и принятия решения. Текст./ Н.М.Опарина// Региональная информатика 2000: тез. докл VII междунар. науч. конф. СПб., 2000. -С.24-27

95. Обозов, Н.Н. Три подхода к исследованию психологической совместимости Текст./ Н.Н. Обозов, А.Н. Обозова// Вопросы психологии. 1981. - № 6. - С.98-101.

96. Обучающие машины, системы и комплексы: Справочник под ред. А.Я. Савельева. Текст./А.Я. Савельев / Киев.: Вища школа, Головное издательство, 1986.-303 с.

97. Оноприенко, О.В. Проверка знаний, умений и навыков учащихся по физике в средней школе. Текст./ О.В. Оноприенко- М.: Просвещение, 1988. -124 с.

98. Основы создания больших АСУ / Под ред. В.А.Баранюка. -М.: Сов. радио, 1979. 360 с.

99. Орловский, С.А. Проблемы принятия решения при нечеткой исходной информации. Текст./ С.А. Орловский- М.: Наука, 1981. 257 с.

100. Основы информатики и вычислительной техники. Программно-методический комплекс / О.А.Горбенко, О.Ф.Ускова и др.; Под ред. С.А. Подвального. Воронеж: ВОИПРО, 1993. - 96 с.

101. Основы профессионального психофизиологического отбора военных специалистов. М.: Воениздат, 1981, 427 с.

102. Охрана труда (обзорная информация) при работе на видеотерминалах. Вып. 6 / Ред. И.Г.Коваленко, В.А.Рябец. М.: НИИ Госкомтруда СССР, 1986. - 52 с.

103. Оценка эффективности применения технических средств контроля знаний. -М.: Отд. науч. инф. НИИ ВШ., 1978, вып. 14. 48 с.

104. Петрович, M.JI. Статистическое оценивание и проверка гипотез на ЭВМ. Текст./ M.JI. Петрович, М.И. Давидович- М.: Финансы и статистика, 1989. 189 с.

105. Половян, С.С. Математические методы в социальной психологии. Текст./ С.С. Половян М.: Прогресс, 1983. - 338 с.

106. Представление знаний в АСО / Ю.И.Лобанов, В.В. Съедин, Н.Л.Васильева, В.И.Неземский. М.: НИИ ВШ, 1985. - 40 с.

107. Растригин, Л.А. Адаптивное обучение с моделью обучаемого. Текст./Л.А. Растригин, М.Х. Эренштейн. Рига: Зинатне, 1988. - 159 с.

108. Решетова, З.А. Типы ориентировки в задании и типы производственного обучения Текст./З.А. Решетова// Доклады АПН. РСФСР. 1959. - № 5.

109. Розенблат, В.В. Проблемы утомления. Текст./В.В. Розенблат М.: Наука, 1975.- 180 с.

110. Росин, М.Ф. Статистическая динамика и теория эффективности систем управления. Текст./М.Ф. Росин, B.C. Булыгин М.: Машиностроение, 1981. - 180 с.

111. Савельев, С.А. Подготовка информации для автоматизированных обучающих систем. Текст./С.А. Савельев, В.А. Новиков, Ю.И. Лобанов М.: Высш. школа, 1986. - 173 с.

112. Свенцицкий, А.Л. Социальная психология управления. Текст./ А.Л. Свенцицкий- Л.: ЛГУ, 1986. 267 с.

113. Свиридов, А.П. Текст./А.П. Свиридов, О.А. Бондин, В.Г. Усков: учебное пособие по курсу "Современные методы и средства обучения". М.: МЭИ, 1979. -63 с.

114. Свиридов, А.П. Введение в статистическую теорию обучения и контроля знаний. Текст./А.П. Свиридов //Под ред. Ю.Н. Кушелева.-Ч.1 М.: МЭИ, 1974. -136 с.

115. Свиридов, А.П. Психолого-педагогические особенности контекстного обучения. Текст./А.П. Свиридов, А.П. Вербицкий М.: Знание, 1987. - 109 с.

116. Свиридов, А.П. Обучение и самообучение обучающих и контролирующих машин Текст./А.П. Свиридов: учебное пособие для студентов // Под ред.Ю.Н.Кушелева. М.: МЭИ, 1974. - 178 с.

117. Свиридов, А.П. Основы статистической теории обучения и контроля знаний. Текст./А.П. Свиридов М.: Высш. школа, 1981. - 262 с.(?)

118. Свиридов, А.П. Применение методов планирования эксперимента при обучении обучающих и контролирующих машин. Текст./А.П. Свиридов М.: МЭИ, 1976.-62 с.

119. Свиридов, А.П. Учебное пособие по курсу "Технология применения ЭВМ в обучении". Условные и безусловные алгоритмы диагностического контроляподготовки операторов ЭВМ Текст./А.П. Свиридов // Под ред. Ю.Н. Кушелева. -М.: МЭИ, 1987.-66 с.

120. Сильвестров, Д.С. Полумарковские процессы с дискретным множеством состояний (основы расчета функциональных и надежностных характеристик). Текст./Д.С. Селеверстов М.: Наука, 1980. - 229 с.

121. Смирнов, В.А. Инженерная психология. Экономические проблемы. Текст./ В.А. Смирнов, Б.А. Душков, Ф.П. Космолинский М.: Экономика, 1983.

122. Сороко, В.Н. О структурном Анализ автоматизированных обучающих систем Текст./В.Н. Сороко, М.В. Кунцевич//УСиМ. 1982. - № 1. -С.97-102.

123. Справочник по функционально-стоимостному анализу / Под ред. М.Г. Карпунина, Ю.И. Майдончика. М.: Финансы и статистика, 1989. - 167 с.

124. Суходольский, Г.В. Структурно-алгоритмический анализ и синтез деятельности. Текст./Г.В. Суходольский Л.: ЛГУ, 1976. - 120 с.

125. Тихонов, В.И., Марковские процессы. Текст./ В.И. Тихонов, М.А. Миронов М.: Сов. радио, 1977. - 480 с.

126. Фокин, Ю.Г. Оператор технические средства: обеспечение надежности. Текст./ Ю.Г. Фокин - М.: Воениздат, 1985.- 192 с.

127. Франселла, Ф. Новый метод исследования личности: Руководство по репертуарным личностным методикам Текст./ Ф Франселла, Д. Банпибстер: пер. с англ.- Общ. ред. и предисл. Ю.М. Забродина и В.И. Похилько. М.: Прогресс, 1987.-326 с.

128. Хараш, А.У. К определению задач и методов социальной психологии в свете принципа деятельности Текст./ А.У. Хараш // Теоретические и методические проблемы социальной психологии. М., 1977. -С.85-94.

129. Ховард, Р.А. Динамическое программирование и марковские процессы Текст./ Р.А. Ховард: пер. с англ. В.В.Рыкова. М.: Сов. радио, 1964. - 233 с.

130. Эффективность технических систем / Под общ. ред. В.Ф. Уткина, Ю.В. Крючкова. М.: Машиностроение, 1988. - 328 с.

131. Gogien, J.A. Mathematical representation of hierarhically organized system. Global Systems Dynamies. E.O.Athinger Ed. 1970.

132. M.Black, Vaguenes : An exercise in logical analyses. Philosophi Science, vol.4, 1970.