Обработка и анализ экспертной информации для управления социально-экономическими системами тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Меликов, Алексей Владимирович

• Меликов, Алексей Владимирович
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Меликов, Алексей Владимирович

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

1 СИСТЕМНЫЙ АНАЛИЗ ПРОЦЕССОВ СБОРА, ХРАНЕНИЯ, ОБРАБОТКИ И

ИНТЕРПРЕТАЦИИ ЭКСПЕРТНОЙ ИНФОРМАЦИИ

1.1 Анализ процедуры анкетирования с использованием информационных систем

1.2 Обзор применяемых в процедуре анкетирования измерительных шкал и их реализации

1.3 Обзор методов обработки и анализа экспертной информации

1.4 Анализ моделей представления данных в информационных системах анкетирования

1.5 Обзор существующих информационных систем обработки и анализа экспертной информации

Выводы

2 МНОГОМЕРНАЯ ЛОГИЧЕСКАЯ СХЕМА ДАННЫХ В

ИНФОРМАЦИОННОЙ СИСТЕМЕ

2.1 Концептуальная модель процесса анкетирования информационной системы в стандарте ГОЕБ

2.2 Алгоритм определения и построения иерархий в измерениях многомерной модели

2.3 Преобразование информации из исходной базы данных в агрегированные данные многомерного хранилища

2.4 Теоретическое обоснование многомерной модели данных и хранилища

2.5 Схема транзакционной базы данных и многомерной модели хранилища

Выводы

3 МЕТОДИКА ПОЛУЧЕНИЯ И АНАЛИЗА ДАННЫХ, СОБРАННЫХ В ХОДЕ

ЭКСПЕРТНОГО ОПРОСА

3.1 Получение интегральной оценки

3.2 Получение экспертной информации в нечёткой метрике

3.3 Определение степени компетентности экспертов

3.4 Получение обобщённого мнения экспертной группы

3.5 Получение однозначного количественного результата опроса

Выводы

4 ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ РАЗРАБОТАННОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ

4.1 Архитектура информационной системы анкетирования

4.2 Анализ данных анкетирования средствами информационной системы

4.3 Анализ прогнозной оценки реакций социально-экономических систем средствами программного обеспечения

4.4 Апробация информационной системы анкетирования

Выводы

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СЛОВАРЬ ТЕРМИНОВ

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

ПРИЛОЖЕНИЕ А. Листинг хранимых процедур

ПРИЛОЖЕНИЕ Б. Результаты моделирования процессов анализа данных

ПРИЛОЖЕНИЕ В. Листинги и результаты выполнения программных средств.. 130 ПРИЛОЖЕНИЕ Г. Акты внедрения результатов диссертационного

исследования

Введение диссертации (часть автореферата) на тему «Обработка и анализ экспертной информации для управления социально-экономическими системами»

ВВЕДЕНИЕ

Актуальность темы исследования. Управление сложными социально-экономическими системами (СЭС) требует достоверных методов обработки и анализа исходных данных для оценки вариантов развития событий и принятия взвешенного, обоснованного и своевременного решения с целью повышения эффективности функционирования таких систем. Сложность управления СЭС обусловлена сильным влиянием случайных факторов на объект управления (ОУ), малой изученностью реакций ОУ на конкретные управляющие воздействия, наличием значительного синергетического эффекта, а также трудностями организации мониторинга поведения таких систем. Кроме того, в СЭС присутствует антропогенный фактор, носящий по своей природе нестатистический характер. Всё это не позволяет в должной мере изучать процессы, происходящие в СЭС, методами математической статистики, затрудняет оценку репрезентативности выборки и исследование поведения системы при изменении параметров прогнозируемого объекта, что в совокупности приводит к значительным погрешностям получаемых прогнозных оценок в задачах управления СЭС.

Степень разработанности темы. Значительный вклад в исследование СЭС внесли работы Д. А. Новикова «Структура теории управления социально-экономическими системами», «Введение в теорию управления организационными системами», «Введение в теорию управления образовательными системами», в которых предпринята попытка интеграции данной проблемы в общую теорию управления, систематизированы компоненты СЭС и рассмотрены основные виды связей между ними. Большое значение в предметной области имеют работы Т. Л. Саати «Принятие решений при зависимостях и обратных связях. Аналитические сети», «Аналитическое планирование. Организация систем», в которых была предложена теория, применение которой сводит исследование сложных систем к последовательности попарных сравнений соответствующим образом определённых компонентов. Результаты в области разработки корпоративных систем, методов и алгоритмов анализа данных широко представлены в работах А. А. Барсе-

гяна, M. С. Куприянова, В. В. Степаненко, И. И. Холод «Методы и модели анализа данных: OLAP и Data Mining», Э. Лемана «Теория точечного оценивания», А. В. Алёшина, И. С. Белявского, И. В. Горбач «OLAP и многомерный анализ данных», А. Б. Бергер, Б. Ф. Андерсона, В. И. Сергеева «Информационные системы и технологии».

Анализ этих работ показал, что при исследовании сложных СЭС возникает необходимость использования методов экспертного оценивания (ЭО). С целью автоматизации сбора и обработки экспертной информации (ЭИ), при организации опроса экспертов используются информационные системы анкетирования (ИСА). Современные ИСА характеризуются разнообразием процедур обработки данных при проведении их многомерного анализа с целью принятия управленческих решений. Однако при проведении экспертных опросов часто не учитываются компетентности экспертов в предметной области. Часть ЭИ теряется, так как недостаточно полно учитываются мнения экспертов, которые могут иметь несколько различающихся по степени уверенности прогнозных оценок реакции СЭС на возможные управляющие воздействия. Всё это, в свою очередь, снижает эффективность управленческих решений, принимаемых по результатам обработки данных экспертных опросов.

Таким образом, совершенствование процедуры сбора ЭИ, методики обработки и анализа данных экспертных опросов для выработки эффективных решений по управлению СЭС является актуальной задачей.

Объект исследования - процесс управления СЭС, основанный на экспертных оценках.

Предмет исследования - процессы сбора, обработки и анализа ЭИ.

Цель диссертационной работы заключается в повышении эффективности управления СЭС на основе повышения достоверности прогнозной оценки реакций системы на возможные управляющие воздействия путём развития методов обработки и анализа ЭИ.

Для достижения поставленной цели в работе сформулированы и решены следующие основные задачи:

1) проведён системный анализ процессов сбора, хранения, обработки и интерпретации данных, полученных в ходе экспертных опросов; выявлены основные недостатки имеющихся подходов, влияющие на эффективность прогнозных оценок при управлении СЭС;

2) разработана структура хранилища данных, обеспечивающая компактное и надёжное хранение экспертной информации о сложных СЭС;

3) разработана методика обработки данных, собранных в ходе экспертного опроса, для получения прогнозной оценки реакций СЭС, учитывающая полное множество мнений экспертов;

4) разработана методика определения компетентности каждого эксперта с целью учёта уровня значимости его мнений при получении прогнозной оценки в задаче управления СЭС;

5) реализована ИСА для получения прогнозной оценки реакций СЭС на возможные управляющие воздействия, произведена её апробация в реальных условиях.

Научная новизна диссертации состоит в предложенном способе сбора и обработки данных, полученных в ходе экспертного опроса, повышающем достоверность прогнозной оценки в задачах управления СЭС, в частности:

1) в разработке математической модели определения компетентности экспертов в виде ориентированного взвешенного графа, отличающейся тем, что она на основе соответствующих ответов на множество дополнительных вопросов, включённых в инструментарий экспертного опроса, позволяет рассчитывать уровень компетентности опрашиваемого для каждого вопроса анкеты в отдельности, что способствует повышению эффективности обработки данных и точности прогноза;

2) в разработке методики представления экспертной информации на основе теории нечётких множеств, учитывающей степень уверенности эксперта в каждом из вариантов ответа и позволяющей получить более полную и точную взвешенную обобщённую прогнозную оценку реакций СЭС на возможные управляющие воздействия;

3) в формализации модели хранилища данных с использованием алгебры кортежей, позволяющей повысить надёжность и информативность выводов, получаемых в результате обработки экспертной информации. Теоретическая и практическая значимость работы:

1) на основе предложенного способа сбора и обработки данных экспертных опросов реализовано программное обеспечение, позволяющее, основываясь на взвешенном мнении каждого из экспертов, получить более достоверную прогнозную оценку реакций СЭС на возможные управляющие воздействия;

2) разработанное программное обеспечение адаптивно под конкретные задачи управления, нацеленные на повышение оценки удовлетворённости качеством услуг, исполненных работ и др., проведение социально-правового мониторинга;

3) разработанная структура ХД даёт возможность осуществить анализ данных, не предусмотренный планом анкетирования, что способствует повышению информативности полученных в результате обработки ЭИ выводов. Методология и методы исследования. Для решения поставленных задач

применялись: теория информационных процессов и систем, теория принятия решений, теория множеств, теория графов, математическое моделирование, метод анализа иерархий, методы экспертных оценок. Положения, выносимее на защиту;

1) математическая модель определения компетентности экспертов в виде ориентированного взвешенного графа, позволяющая рассчитать уровень компетентности эксперта для каждого вопроса анкеты в отдельности;

2) методика представления экспертной информации, учитывающая степень уверенности эксперта в каждом из вариантов ответа;

3) модель хранилища данных, позволяющая повысить надёжность и информативность выводов, полученных в результате обработки экспертной информации.

Степень достоверности исследования обусловлена строгим математическим обоснованием предлагаемых подходов и методов, хорошим совпадением ре-

зультатов числового и имитационного моделирования, успешным внедрением результатов работы в: ФГБОУ ВПО «Пензенский государственный университет» в управлении системой менеджмента качества (спецификация процесса СП-СМК-151-М-02); администрации Железнодорожного района г. Пензы при управлении деятельностью органов местного самоуправления; ЗАО ПФК «Аттика» в процессе получения прогнозных оценок о развитии параметров, характеризующих остаточный ресурс оборудования, которые соответствуют возможным управляющим воздействиям.

Апробация научных результатов. Основные результаты диссертационной работы докладывались и обсуждались на: IV Международной научно-технической конференции молодых специалистов, аспирантов и студентов «Математическое и компьютерное моделирование естественнонаучных и социальных проблем» (Пенза, 2010); XII Международной научно-технической конференции «Информационно-вычислительные технологии и их приложения» (Пенза, 2010); XIV Международной научно-практической конференции «Актуальные проблемы информатики и информационных технологий» (Тамбов, 2010); VIII Международной научно-практической конференции «Социально-экономическое развитие общества: система образования и экономика знаний» (Пенза, 2011); Международной научно-практической конференции «Perspective innovations in science, education, production and transport'2011» (Одесса, 2011); II Международной научно-практической конференции «Проблемы современного образования» (Пенза -Улан-Удэ - Ереван, 2011); VII Международной научно-практической конференции «Проблемы качества образования в современном обществе» (Пенза, 2011); XI Международной научно-технической конференции «Проблемы информатики в образовании, управлении, экономике и технике» (Пенза, 2011); X Международной научно-практической конференции «Современные проблемы гуманитарных и естественных наук» (Москва, 2012); Международной научно-практической конференции «Теория и практика актуальных исследований» (Краснодар, 2012); Всероссийской научно-технической конференции «Современные технологии и управление» (Светлый Яр, 2012); Международной конференции «Новый подход к

проектно-ориентированному образованию - Всемирная инициатива СЭЮ» (Астрахань, 2012).

Публикации. По теме диссертационного исследования получено свидетельство о регистрации электронного ресурса и опубликовано 14 печатных работ:

3 - в рецензируемых отечественных изданиях, рекомендованных ВАК, 9 - в материалах международных и всероссийских конференций, 2 - в зарубежных сборниках.

Структура и объём диссертации. Диссертация включает в себя: введение,

4 главы, заключение, список сокращений и условных обозначений, словарь терминов, библиографический список из 95 наименований и 4 приложения. Объём работы: 105 страниц основного текста, включающего 41 рисунок и 14 таблиц.

1 СИСТЕМНЫЙ АНАЛИЗ ПРОЦЕССОВ СБОРА, ХРАНЕНИЯ, ОБРАБОТКИ И ИНТЕРПРЕТАЦИИ ЭКСПЕРТНОЙ ИНФОРМАЦИИ

Проводится анализ процедуры анкетирования и выполняется обзор измерительных шкал, применяемых в ней. Проводится обзор методов обработки и анализа данных, полученных в ходе экспертного опроса. Осуществляется анализ моделей представления данных в ИСА. Выполняется обзор существующих систем поддержки принятия решений на основе прогнозных оценок реакций СЭС на возможные управляющие воздействия. Формируется словарь основных терминов (тезаурус).

1.1 Анализ процедуры анкетирования с использованием информационных систем

Процедура анкетирования - это психологический вербально-коммуника-тивный метод, в котором в качестве средства для сбора сведений от экспертов используется оформленный список вопросов - анкета [1]. Анкетирование - есть опрос при помощи анкеты. Анкета является одним из условий получения объективно значимых результатов опроса экспертов. Созданию анкеты предшествует длительный этап разработки программы исследований, так как в анкету закладываются гипотезы, сформулированные задачи, которые предстоит решить в процессе опроса. С этой точки зрения, анкета рассматривается как инструмент сбора информации.

Если не учитывать особенностей формулировки вопросов в анкете, то даже при соблюдении всех остальных требований методики исследования, результаты бывают ошибочными. Вследствие этого встаёт вопрос об обзоре структуры анкеты.

В структуре анкеты выделяют следующие составные части [2]: - титульный лист (зачастую исполняется вместе с вводной частью);

- вводная часть (преамбула) - это единственное средство мотивации эксперта на заполнение анкеты, формирования его установки на искренность ответов. Кроме того, здесь приводятся цель исследования, способ заполнения анкеты, характер использования результатов, а также анонимность эксперта;

- основная (содержательная) часть - это группа основных вопросов анкеты (блоки вопросов), посвященных тематике проводимого исследования. Структура и последовательность вопросов в анкете, по сути, представляют собой установку на развитие коммуникации с экспертом: пробуждение интереса, завоевание доверия, подтверждение уверенности опрашиваемых в своих возможностях, дальнейшее проведение опроса;

- заключительная (социально-демографическая) часть - это вопросы социально-паспортной статистики (возраст, пол, образование и т.д.), необходимые для оценки представительности собранных результатов, проведения сравнительных исследований и т.д.

В анкете могут присутствовать вопросы-фильтры и контрольные вопросы. Вопросы-фильтры отвечают за определение эксперта к группе людей, подлежащих мониторингу, и выяснение уровня его компетентности в данном опросе. Контрольные вопросы используют для проверки правдивости ответов эксперта, а также для уточнения и дополнения сведений, извлекаемых из ответов на основные вопросы.

В зависимости от формы ответов различают вопросы открытого, закрытого и полузакрытого типов. На вопросы открытого типа эксперт отвечает в свободной форме. Закрытые вопросы предопределены уже существующими вариантами ответов. Вопросы полузакрытого типа предполагают возможность дополнения допустимых вариантов своим ответом.

При последующей обработке анкетных данных открытые вопросы предпочтительнее закрытых, если важно выявить все нюансы мнений экспертов, но полученную на их основе информацию трудно будет формализовать и обработать. Закрытые вопросы, особенно в форме «меню», шкал, таблиц и дихотомий, более удобные для обработки, но не дают гарантии учёта полноты экспертских оценок.

Соблюдение правил системности анкеты необходимо для того, чтобы использовать в научных целях информацию не только по отдельным вопросам, но и ту, которая обнаруживается при осмыслении всех вопросов как взаимодействующих структур, а всех ответов на них как взаимодействующих элементов.

По количеству возможных вариантов выбора ответов вопросы делятся на две группы: одиночного и множественного выборов.

Как правило, хорошо разработанная анкета может быть заполнена экспертом в течение не более 30 минут. В дальнейшем наступает психологический порог утомляемости, и внимание к заполняемой анкете значительно снижается, что также может сказаться на необъективности результатов исследования [3].

Виды анкетирования многообразны и группируются в соответствии с несколькими признаками [4].

В зависимости от количества опрашиваемых различают два вида анкетирования: сплошное и выборочное. Сплошное анкетирование предусматривает опрос всей генеральной совокупности изучаемых лиц (опрос всех представителей выборки). При выборочном анкетировании опрашивается лишь часть генеральной совокупности - выборочная совокупность. Именно этот вид анкетирования является наиболее распространённым. Достоверность и надёжность полученной анкетированием информации зависит, прежде всего, от репрезентативности выборки.

В зависимости от способа общения исследователя с экспертами различают очное (личное) и заочное анкетирование. Личное анкетирование предусматривает непосредственный контакт исследователя с экспертом, в то время как заочное характеризуется тем, что эксперты отвечают на вопросы анкеты в отсутствие исследователя. Различный характер процедуры очного опроса даёт право выделять индивидуальное, групповое и массовое анкетирование. Это делает анкетирование тем методом, который позволяет собирать значительный материал при минимальных затратах времени. По способу вручения анкет экспертам различают почтовое и раздаточное виды анкетирования.

С ростом популярности интернета всё более востребованным способом сбора данных становится онлайн анкетирование как одно из средств проведения за-

очного анкетирования. Этот подход обладает рядом преимуществ: во-первых, становится возможным произвести опрос большого количества экспертов за короткий промежуток времени со значительной пространственной разнесённостью опрашиваемых; во-вторых, становится реальным с помощью \¥еЬ-технологий оперативный просмотр результатов мониторинга и отслеживание статистики прохождения процесса анкетирования. Но в' этом случае, возникает ряд вопросов, и главный из них - определение размера выборки для проведения опроса. Попытаться однозначно ответить на этот вопрос можно только применительно к каждому конкретному исследованию. Но фактически, сделав выборку неограниченно большой, из неё практически всегда можно получить достаточное для исследования количество представителей данной целевой группы.

Информация для заполнения анкет собирается путём проведения измерений.

1.2 Обзор применяемых в процедуре анкетирования измерительных шкал и их реализации

Измерение - это процедура сравнения объектов по определённым показателям или характеристикам (признакам), представляющим интерес для исследователя (аналитика) [5]. На основе логики и теории отношений построена теория измерений, позволяющая с единых позиций рассматривать как объективные, так и субъективные измерения.

Любое измерение включает в свой состав: объекты, показатели и процедуру сравнения [6]. В качестве показателей сравнения объектов используются пространственные, временные, физические, физиологические, социологические, психологические и другие свойства и характеристики объектов. Процедура сравнения включает определение отношений между объектами и способ их сравнения. Легче измеряются объективные свойства (возраст, доход и т.п.), чем субъективные свойства (чувства, вкусы и т.п.). В последнем случае эксперт должен перевести

свои оценки на шкалу плотности (на некоторую числовую систему), разработанную исследователем.

Измерения проводятся с помощью различных шкал. Выделяют четыре характеристики шкал: описание, порядок, расстояние и наличие начальной точки, -которые определяют основные уровни измерения (таблица 1).

Таблица 1 - Характеристики шкал измерений

Уровень измерений Характеристики шкал

описание порядок расстояние наличие начальной точки

Шкала наименований +

Шкала порядка + +

Интервальная шкала + + +

Шкала отношений + + + +

Шкала наименований (номинальная, классификационная) - шкала произвольных взаимно-однозначных преобразований, в результате которых сохраняются отношения равенства и неравенства между числами [7]. При анализе данных с числовыми знаками кодов допустимо выполнять только операции определения их равенства или неравенства. Данная шкала используется для измерения значений качественных признаков. Такие признаки удовлетворяют аксиомам тождества [8]:

a) либо А = В, либо А Ф В;

b) если А = В, то В = А;

c) если А = В и В = С, то А = С.

При обработке данных, собранных посредством этой шкалы, допустимыми операциями являются [9]:

- проверка совпадения с использованием символа Кронекера 8ц = (1: XI = Х]\ 0: XI Ф где Х[ и х) - записи разных измерений;

- определение числа наблюдений /с-ого класса пк = ИГ=1

1 пк

- получение относительных частот к-ого класса рк = —;

- вычисление моды ктах = arg тахк(рк);

- расчёт коэффициента конкордации;

- проверка по тесту «кси-квадрат» и т.д.

По результатам проверки совпадения или несовпадения величин, измеряемых в шкале наименований, вычисляются частоты заполнения (вероятности) для различных классов, которые используются для применения различных методов статистического анализа: критерий согласия Пирсона, критерий Крамера и др.

Шкала порядка (порядковая, ранговая) - шкала, позволяющая устанавливать соотношения равенства, неравенства и последовательности между уровнями при отсутствии точки отсчёта и дистанции между ними [10]. Она строится на отношении тождества и порядка, субъекты такой шкалы ранжированы. Для порядковых шкал, помимо вышеперечисленных аксиом тождества (а-с), справедливы аксиомы упорядоченности:

d) если А > В, то В < А;

e) если А > В и В > С, то А > С.

Если нет возможности упорядочить каждую пару классов, то речь идёт о шкалах слабого порядка. Для подобных шкал аксиомы d-e имеют следующий вид:

f) либо А> В, либо А<В\

g) если А > В и В > С, то Л > С.

Порядковая шкала не задаёт меры удалённости между сравниваемыми классами [11]. Допустимыми операциями для ранговых шкал, в дополнении к разрешённым операциям над шкалами наименований, являются:

- вычисление ранга Ri = ~xj)-> с использованием индикатора положительности C(t) = {1: t > 0; 0: t < 0], где п - число наблюдений;

- нахождение выборочной медианы, которая характеризуется наблюдением

R;, ближайшим к -;

и 2

- определение выборочных квантилей;

- расчёт значений коэффициентов корреляции Спирмена и Кенделла.

Таким образом, в шкале порядка допустимыми операциями являются все строго возрастающие преобразования, которые не изменяют отношения строго или частичного порядка [12].

Интервальная шкала - это шкала, отображающая помимо отношений наименований и порядка ещё и отношение расстояний между парами объектов (сравнение с эталоном) [13]. Построение такой шкалы позволяет большую часть свойств существующих числовых систем приписывать числам, полученным на основе субъективных оценок. Для данной шкалы допустимым является линейное преобразование. Отличительной чертой интервальной шкалы является произвольное положение нуля. Если в одной шкале измеренные интервалы равны хг и х2, а

во второй ~у1 и у2, то справедливо соотношение: — = — [14]. Допустимые опе-

х2 Уг

рации - определение интервала между двумя измерениями; над интервалами -любые арифметические или статистические операции.

Шкала отношений - шкала, для которой возможно лишь преобразование подобия, т.е. умножение шкальных значений на константу, выступающей единицей измерения [15]. Это единственная шкала, имеющая абсолютный ноль. Все допустимые преобразования для шкалы отношений исчерпываются функциями вида /(х) = кх) (к > 0), что указывает на большие возможности шкалы отношений как инструмента обобщения [16]. Для данной шкалы справедливо применять аксиомы аддитивности:

Ъ) если А = Р и В > 0, то А + В > Р\ \) А + В = В+А\

.0 если А = РиВ = (?, то А + В = Р + к )(А + В) + С = А + (В + С).

Из рассмотренных шкал первые две являются неметрическими, а остальные - метрическими.

С вопросом о типе шкал непосредственно связана проблема адекватности методов математической обработки результатов измерения. В общем случае адек-

ватными являются те статистики, которые инварианты относительно допустимых преобразований используемых типов измерительных шкал.

1.3 Обзор методов обработки и анализа экспертной информации

Ввиду сложности объекта изучения, нелинейности исследуемых процессов, отсутствия аналитического описания особенностей поведения системы, рациональным подходом получения прогнозных оценок является применение ЭО. ЭО -процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия управленческого решения [17].

Для обработки ЭИ используют статистические и алгебраические методы, методы шкалирования [18]. Статистические методы основаны на предположении, что отклонение оценок экспертов от истинных происходит в силу случайных причин. Задача состоит в том, чтобы восстановить это истинное значение с наименьшей погрешностью и определить согласованность мнений экспертов и значимость полученных оценок. Определение результирующей оценки зависит от класса задачи оценивания.

Квантификация - это процедура приписывания количественной определённости изучаемым качественным признакам на основе тестирования, ранжирования, экспертной оценки и опроса [19]. Шкалы квантификации служат способом упорядочения изучаемых явлений приписыванием им качественно-количественной определённости. К обработке информации с применением шкалы порядка относится дополнительная процедура - селекция данных.

Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, её анализ и обобщение с целью подготовки и выработки рациональных решений в задачах управления [20]. Сбор ЭИ зависит от выбора метода экспертных оценок. В ходе определения количества экспертов необходимо учитывать, что при малом их числе появляется излишнее влияние оценки каждого эксперта, а при большом

числе трудно вырабатывать единое мнение и снижается роль крайнего мнения. Оптимальная численность экспертов (Сгр) определяется по формуле:

Сгр = 0,5 (~ь + 5),

где Ь - необходимая точность экспертизы (в %), т.е. 1 > Ь > 0.

Обработка ЭИ осуществляется с помощью выбранного метода. Полученные в результате обработки данные анализируют и используют для решения задач синтеза новых систем управления и анализа (измерения) существующих систем управления по выбранным показателям и критериям эффективности. Однако при этом возникает ряд проблем, которые можно условно разделить на два класса: с достаточным и недостаточным информационным потенциалом. Для проблем первого класса эксперты, имеющие необходимый объём знаний и опыт по их решению, являются качественными источниками. Но в отношении проблем второго класса применение методов осреднения мнений экспертов приводит к значительным ошибкам, так как эксперты могут иметь различную степень компетентности, и мнение одного из них, существенно отличающееся от мнения других, может оказаться правильным. В связи с этим для решения проблем второго класса необходима дополнительная обработка результатов ЭО.

После получения информации от экспертов производится её анализ с целью выявления согласованности мнений отдельных специалистов и формирования обобщённого мнения. Решение последней задачи осуществляется с помощью специальных процедур, позволяющих выявить и учитывать компетентность экспертов [21 ].

Методы анализа ЭИ зависят от её характера. Для анализа индивидуальных экспертных оценок наиболее развитой является теория, которая использует суждения, полученные при парных сравнениях. Для получения групповой оценки разработано много методов, которые используют и парные сравнения, и ранжирование и непосредственные оценки отдельных экспертов [22, 23, 24].

Непараметрические методы статистики - методы математической статистики, не предполагающие знания функционального вида генеральных распределе-

ний. Несмотря на многообразие задач, решаемых с помощью непараметрических методов, их можно условно разделить на две большие части: задачи проверки гипотез (процедура (критерий), позволяющая принимать или отвергать проверяемую гипотезу при заданной альтернативе) и задачи оценки неизвестных распределений и параметров, которые понимаются как некоторые функционалы от этих распределений [25]. Для решения этих задач в непараметрических методах используются два вида шкал: номинальная и ранговая; учитывая, что последняя имеет лучшую применимость в анкетной статистики (раздел 1.2).

Если из множества наблюдений (объектов) хг, х2, ...,хп два любых результата не совпадают, то каждому наблюдению ставится в соответствие рангг£, где i = 1,2, ...,п. Тогда отношение старого порядка между анализируемыми объектами задаётся посредством матрицы С = [с¿у], где i = 1,2, ...,n,j = 1,2, ...,т. Таким образом, элементы матрицы С и ранги результатов наблюдений связываются взаимно однозначным соответствием [26]: ц = 1 + £)=i( 1 — сф, для которого справедливо Cij = {1: rt < Tj) 0: rt >?}•}.

При обработке ранжированных данных используются только ранговые статистические методы. Часто применяемое в непараметрической статистике преобразование вида: Y = F(x), где F(x) - непрерывная функция распределения случайной величины х, практически означает переход к шкале порядка, так как статистические выводы подвергаются принципу инвариантности относительно допустимых преобразований в данной шкале [27].

Меры, предпринимаемые по взаимосвязи пары признаков, каждый из которых ранжирует рассматриваемую совокупность наблюдений, называются в статистике коэффициентами ранговой корреляции [28], такие как р-Спирмена и т-Кендалла.

Коэффициент Кенделла по сравнению с коэффициентом Спирмена - более осторожная оценка корреляции, так как числовое значение т всегда меньше, чем р. Важным отличительным достоинством коэффициента Кенделла является возможность расчёта коэффициента частной ранговой корреляции, позволяющего

оценить степень «чистой» взаимосвязи двух ранговых признаков, исключив влия-

Для исследования непараметрических данных широко применяются алгоритмы интеллектуального анализа данных. Среди них кластеризация, классификация и регрессия, поиск ассоциативных правил [29, 30].

Целью кластеризации является выявление и выделение классов объектов, образующих изолированные скопления по заранее определённым признакам. Существуют две группы кластерного анализа: иерархические и неиерархические. Первый подход характеризуется построением полного дерева вложенных кластеров и делится на следующие подгруппы:

- агломеративные (последовательное объединение элементов и постепенное уменьшение числа кластеров);

- девизимные (постепенное увеличение числа кластеров, образуя последовательность расщепляющих подгрупп).

Для осуществления второго подхода требуется предварительное описание условий остановки. При использовании кластерного алгоритма интеллектуального анализа данных применяются различные меры близости: Евклидово расстояние, расстояние по Хеммингу и др.

Применяя классификацию и регрессию, определяются значения зависимой переменной на основании значений других переменных, которые описывают данный объект. Выраженная функциональная зависимость представляется в в ИДС. Ma* тематических функций; деревьев решений; классификационных правил, которые состоят из двух частей: условия и заключения (для их построения используются алгоритмы 1R и Naive Bayes). Цель поиска ассоциативных правил является определение часто встречающихся наборов объектов в ещё большем множестве. Первым действием выполняется поиск частных наборов объектов, следующим за ним - генерирование выявленных наборов объектов в ассоциативные правила.

После отработки суждений экспертов методами математической статистики они распределяются следующим образом [31]:

ние третьего: т123 =

т12-т13т23

1) мнения всех экспертов близки между собой;

2) мнения всех экспертов разделились на небольшое число согласованных подгрупп;

•3) заключения экспертов разнородны.

После завершения процедуры экспертизы лицу, принимающему решение, выдаётся либо одно, либо несколько обоснованных суждений, смотря по результатам отработки мнений экспертов. Этап интерпретации полученных результатов необходим для организации обратной связи в процессе ЭО.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надёжности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

1.4 Анализ моделей представления данных в информационных системах анкетирования

Модель данных (МД) - это абстрактное, самодостаточное, логическое определение объектов, операторов и прочих элементов, в совокупности составляющих абстрактную машину доступа к данным, с которой взаимодействует пользователь [32]. Эти объекты позволяют моделировать структуру данных, а операторы - поведение данных [33].

Каждая БД строится на основе некоторой явной или неявной МД. Существенным недостатком сетевой МД является закрепление связей в записях в виде указателей, так как это осложняет применение тех же данных в случае необходимости формирования новых связей между ними. Иерархическая МД характеризуется аналогичными сетевой модели недостатками, но она удобнее последней с позиции навигации по структуре базы данных (БД). Главным недостатком реляци-

онной МД является дублирование информации при организации связей. Недостатком постреляционной модели являются сложности решения проблем обеспечения целостности и непротиворечивости хранимых данных. К недостаткам объектно-ориентированной МД относят сложность понимания её функционирования и низкую скорость выполнения запросов.

Многомерные системы управления БД (СУБД) являются узкоспециализированными СУБД, предназначенными для интерактивной аналитической обработки информации [34]. В основе многомерного представления данных (рисунок 1) лежит понятие «гиперкуба», или «многомерного куба данных», в ячейках которого хранятся анализируемые данные [35, 36]. Гиперкуб - это умозрительная многомерная конструкция в многомерном пространстве, образованном плоскостями данных, которые важны для деятельности организации. Ячейку многомерного куба рассматривают как поле, или атомарную структуру куба, соответствующее полному набору конкретных значений измерений. Факт - это числовая величина, которая располагается в ячейках гиперкуба. Каждая грань куба является размерностью. Каждое ребро куба представляет его измерение - это множество объектов одного или нескольких типов, организованных в виде иерархической структуры и обеспечивающих информационный контекст числового показателя. Группировка объектов одного измерения в объекты более высокого уровня называется иерархией куба. Иерархии в измерениях необходимы для возможности агрегации и детализации значений показателей согласно их иерархической структуре. Подмножество гиперкуба, получившееся в результате фиксации значения одного или более измерений, называется срезом.

Основным достоинством ММД является удобство и эффективность аналитической обработки больших объёмов данных, связанных со временем. Недостатком многомерной организации данных является её громоздкость для простейших задач обычной оперативной обработки информации.

\ / \ / \ /

F X Y Z ... А С В

Y

/////■ 7 7 / / / /

/ / / / / / / / / A

/ / / /

Многомерное пространство

Метрическое пространство

V

/

С ♦

Заключение диссертации по теме «Управление в социальных и экономических системах», Меликов, Алексей Владимирович

Основные результаты диссертационной работы состоят в следующем:

1) выявлены недостатки в обработке и анализе данных, полученных в ходе экспертного опроса, не учитывающие уровень значимости характеристик экспертов для каждого вопроса анкеты и не охватывающие всю полноту мнений экспертов, что в совокупности понижает эффективность управления СЭС;

2) разработана математическая модель определения компетентности экспертов в виде ориентированного взвешенного графа, позволяющая рассчитывать уровень компетентности эксперта для каждого вопроса анкеты в отдельности, что способствует повышению эффективности обработки данных и точности прогноза, в среднем, на 15-25 %;

3) разработана методика представления экспертной информации на основе теории нечётких множеств, учитывающая степень уверенности эксперта в каждом из вариантов ответа, что позволяет получить более полную и точную взвешенную обобщённую прогнозную оценку, представленную в нечёткой метрике, реакций СЭС на возможные управляющие воздействия;

4) разработана новая структура хранилища данных, основанная на алгебре кортежей, повышающая надёжность и информативность выводов, получаемых в результате обработки данных экспертных опросов, исключая обработку семантически эквивалентной информации и снижая количество пустых значений показателей в таблицах гиперкубов, что в совокупности позволяет сэкономить занимаемый объём дискового пространства ЭВМ, в среднем, на 30 %;

5) реализовано программное обеспечение в виде информационной системы анкетирования «Апофаси» с использованием \¥еЬ-технологий в режиме удалённого доступа, которое внедрено:

- в ФГБОУ ВПО «Пензенский государственный университет» в управлении системой менеджмента качества. Первоначальное значение оценки удовлетворённости качеством предоставляемых услуг было скорректировано на 25 %. Следствием принятого решения администрацией ВУЗа на основе полной, обобщённой и взвешенной прогнозной оценки реакций СЭС явилась высокая оценка удовлетворённости качеством услуг;

- в администрации Железнодорожного района г. Пензы при управлении деятельностью органов местного самоуправления. На основе обработанных и проанализированных данных социологического опроса администрацией было принято решение о месте размещения детской площадки, учитывающее интересы граждан близ расположенного района;

- в ЗАО ПФК «Аттика». Основываясь на результатах прогнозных оценок мнений группы экспертов о развитии параметров, характеризующих остаточный ресурс оборудования, было принято управленческое решение, способствовавшее сокращению срока простоя технологического оборудования и повышению эффективности производства на 10-15 %.

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

БД - база данных

ИС - информационная система

ИТ - информационная технология

ИСА - информационная система анкетирования

МАИ - метод анализа иерархий

ММД - многомерная модель данных

МД - модель данных

ОУ - объект управления

СУБД - система управления БД

СЭС - социально-экономическая система

ХД - хранилище данных

ЭИ - экспертная информация

ЭО - экспертное оценивание

OLAP - оперативная аналитическая обработка данных OLTP - оперативная транзакционная обработка данных

СЛОВАРЬ ТЕРМИНОВ агрегируемость данных (aggregated data): Рассмотрение информации на различных уровнях её обобщения. метод анализа иерархий (analytic hierarchy process): Математический инструмент системного подхода к сложным проблемам принятия решений, позволяющий аналитику в интерактивном режиме найти такой вариант (альтернативу), который наилучшим образом согласуется с его пониманием сути проблемы и требованиями к её решению. анкета (questionnaire): Оформленный список вопросов, анкетирование (survey): Опрос при помощи анкеты. база данных (database): Организованная в соответствии с определёнными правилами и поддерживаемая в памяти компьютера совокупность данных, характеризующая актуальное состояние некоторой предметной области и используемая для удовлетворения информационных потребностей пользователей, вопросы закрытого типа (closed questions): Вопросы, подразумевающие однозначный ответ. вопросы открытого типа (open-ended questions): Вопросы, подразумевающие развернутый ответ, на них невозможно ответить односложно, вопросы полузакрытого типа (semi-closed questions): Вопросы, предполагающие возможность дополнения допустимых вариантов своим ответом, вращение (rotation): Изменение порядка представления (визуализации) измерений. гиперкуб (hypercube): Умозрительная многомерная конструкция в многомерном пространстве, образованном плоскостями данных, которые важны для деятельности организации. дисперсионный анализ (variance analysis): Статистический метод, позволяющий анализировать влияние различных факторов на исследуемую переменную, добыча данных, интеллектуальный анализ данных, глубинный анализ данных (data Mining): Собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности, древовидная классификация (tree classification): Пошаговый метод разбиения выборки на отдельные группы. иерархия (hierarchy): Группировка объектов одного измерения в объекты более высокого уровня. измерение (measurement): Процедура сравнения объектов по определённым показателям или характеристикам (признакам). измерение (ребро куба) (dimension): Множество объектов одного или нескольких типов, организованных в виде иерархической структуры и обеспечивающих информационный контекст числового показателя. интервальная шкала (interval scale): Шкала, отображающая помимо отношений наименований и порядка ещё и отношение расстояний между парами объектов (сравнение с эталоном). информационная система (information system): Организационно-упорядоченная взаимосвязанная совокупность средств и методов информационных технологий, используемых для хранения, обработки и выдачи информации в интересах достижения поставленной цели. информационная система анкетирования (information system survey): Автоматизированная система для проведения всевозможного вида анкетирования в режиме удалённого доступа. информационная технология (information technology): Процесс, использующий совокупность средств и методов сбора, обработки и передачи данных (первичной информации) для получения информации нового качества о состоянии объекта, процесса или явления (информационного продукта). историчность данных (historicity of data): Обеспечение высокого уровня статичности собственно данных и их взаимосвязей, а также обязательность привязки данных ко времени. квантификация (quantification): Процедура приписывания количественной определённости изучаемым качественным признакам на основе тестирования, ранжирования, экспертной оценки и опроса. кластерный анализ (cluster analysis): Классификация объектов по характеризующим их признакам, разделение совокупности объектов на однородные группы, близкие по определяющим критериям, выделение объектов определенной группы, коэффициенты ранговой корреляции (rank correlation coefficients): Меры, предпринимаемые по взаимосвязи пары признаков, каждый из которых ранжирует рассматриваемую совокупность наблюдений. медианный ранг (median rank): Значение признака, которое приходится на середину ранжированного ряда и делит его на две равные по числу единиц части, многозначная зависимость исходной БД (multivalued dependence): Обобщение понятия функциональной зависимости. В концепции нормальных форм теории БД вводится для формального определения четвёртой нормальной формы, многомерная модель данных (multidimensional data model): Логическая модель данных, прикладная теория построения хранилищ данных, удобная и эффективная для аналитической обработки больших объёмов данных, связанных со временем. модель данных (data model): Абстрактное, логическое определение объектов, операторов и прочих элементов, в совокупности составляющих абстрактную машину доступа к данным, с которой взаимодействует пользователь, непараметрические методы статистики (nonparametric statistical methods): Методы математической статистики, не предполагающие знания функционального вида генеральных распределений. несбалансированными иерархии (unbalanced hierarchy): Иерархия типа «начальник-подчинённый». объект управления (facility management): Обобщающий термин кибернетики и теории автоматического управления, обозначающий устройство или динамический процесс, управление поведением которого является целью создания системы поддержки принятия решений. оперативная аналитическая обработка данных (online analytical processing): Технология обработки информации, включающая составление и динамическую публикацию отчётов и документов. оперативная транзакционная обработка данных (operational transactional data processing): Обработка транзакций в реальном времени. прогнозируемость данных (forecast data): Задание функций прогнозирования и применение их к различным временным интервалам. проекция (projection): Выделение подмножества требуемых измерений из всех доступных. процедура анкетирования (process of questioning): Психологический вербально-коммуникативный метод, в котором в качестве средства для сбора сведений от экспертов используется анкета. ранжированный ряд наблюдений (ranked set of observations): Наблюдения, упорядоченные в соответствии со степенью проявления исследуемого свойства, сбалансированные иерархии (balanced hierarchy): Иерархии, основанные на данных типа «дата-время». система управления БД (database management system): Совокупность программных и лингвистических средств общего или специального назначения, обеспечивающих управление созданием и использованием БД. социально-экономическая система (socio-economic system): Целостная совокупность взаимосвязанных и взаимодействующих социальных и экономических институтов (субъектов) и отношений по поводу распределения и потребления материальных и нематериальных ресурсов, производства, распределения, обмена и потребления товаров и услуг. средний ранг (average rank): Сумма всех порядковых номеров единиц совокупности в ранжированном ряду, делённая на их количество. срез (slice): Подмножество гиперкуба, получившееся в результате фиксации значения одного или более измерений. статистическая обработка данных (statistical data processing): Стандартная процедура обработки данных, происходящая согласно установленному заранее техническому заданию с дальнейшим предоставлением результатов в виде стандартных таблиц формата SPSS Output, Excel, HTML или же графиков Excel заранее оговорённого образца. улучшенная модель организации данных (improved model): Такое разложение исходного гиперкуба, при котором суммарный вес гиперкубов в этом разложении меньше его веса. факт (fact): Числовая величина, которая располагается в ячейках гиперкуба, функциональная зависимость исходной БД (functional dependence): Бинарное отношение между множествами атрибутов данного отношения, является связью типа «один - ко многим». хранилище данных (data warehouse): Предметно-ориентированный, интегрированный, привязанный ко времени и неизменяемый набор данных, предназначенный для поддержки принятия решений. члены измерений (members of measurements): Объекты, совокупность которых и образует измерение. шкала наименований (номинальная, классификационная) (scale items): Шкала произвольных взаимнооднозначных преобразований, в результате которых сохраняются отношения равенства и неравенства между числами. шкала отношений (scale relations): Шкала, для которой возможно лишь преобразование подобия, т.е. умножение шкальных значений на константу, выступающей единицей измерения. шкала порядка (порядковая, ранговая) (rank scale): Шкала, позволяющая устанавливать соотношения равенства, неравенства и последовательности между уровнями при отсутствии точки отсчёта и дистанции между ними, эксперт (expert): Лицо, от которого получены сведения в ходе опроса, экспертная информация (expert information): Данные, полученные в ходе экспертного опроса. экспертное оценивание (expert assessment): Процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения (выбора). Одним из способов осуществления экспертного оценивания является экспертный опрос. ячейка (cell): Атомарная структура куба, соответствующая полному набору конкретных значений измерений.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования кандидат технических наук Меликов, Алексей Владимирович, 2013 год

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Никандров, В. В. Вербально-коммуникативные методы в психологии: беседа и опрос. Учебное пособие / В. В. Никандров. - СПб.: Речь, 2002. - 72 с.

2. Сабитов, Р. А. Основы научных исследований. Учебное пособие / Р. А. Сабитов. - Челябинск: ЧГУ, 2002. - 138 с.

3. Практикум по общей, экспериментальной и прикладной психологии. Учебное пособие / В. Д. Балин, В. К. Гайда, В. К. Гербачевский, А. А. Крылова, С. А. Маничева. - 2-е изд., перераб. и доп. - СПб: Изд-во «Питер», 2007. -720 с.

4. Лудченко, А. А. Основы научных исследований. Учебное пособие / А. А. Лудченко, Я. А. Лудченко, Т. А. Примак. - 2-е изд., стер. - К.: О-во «Знания», КОО, 2001.- ИЗ с.

5. Елисеева, И. И. Общая теория статистики: Учебник / И. И. Елисеева, М. М. Юзбашев. - 5-е изд., перераб. и доп. - М.: Финансы и статистика, 2004. -656 с.

6. Гусев, А. Н. Измерение в психологии. Практикум / А. Н. Гусева, М. Б. Ми-халевская, Ч. А. Измайлов. - М.: Смысл, 1998. - 286 с.

7. Современный словарь по общественным наукам / Н. И. Панов, О. Г. Дани-льян. - М.: ЭКСМО, 2007. - С. 302.

8. Емельянов, А. А. Системный анализ в управлении / А. А. Емельянова, В. С. Анфилатов, А. А. Кукушкин. - М.: Финансы и статистика, 2002. - 368 с.

9. Чернышов, В. Н. Теория систем и системный анализ / В. Н. Чернышов, А. В. Чернышов. - Тамбов: ТГТУ, 2008. - 96 с.

10. Современный словарь по общественным наукам / Н. И. Панов, О. Г. Дани-льян. - М.: ЭКСМО, 2007. - С. 365.

11. Перегудов, Ф. И. Основы системного анализа: Учебник / Ф. И. Перегудов, Ф. П. Тарасенко. - 2-е изд., доп. - Томск: Изд-во НТЛ, 1997. - 396 с.

12. Орлов, А. И. Экспертные оценки. Учебное пособие / А. И. Орлов. - М.: Изд-во «Экзамен», 2002. - 31 с.

13. Большой психологический словарь / Б. Г. Мещеряков, В. П. Зинченко. - М.: Прайм-Еврознак, 2003. - С. 201.

14. Основы теории психологического исследования. (Экспериментальная психология) / И. О. Александров, H. Е. Максимова. - М.: Изд-во «Институт психологии РАН», 1998. - 88 с.

15. Большой психологический словарь / Б. Г. Мещеряков, В. П. Зинченко. - М.: Прайм-Еврознак, 2003. - С. 419.

16. Логвиненко, А. Д. Измерения в психологии: математические основы. Учебное пособие / А. Д. Логвиненко - М.: МГУ, 1993. - 477 с.

17. Демидова, А. В. Исследование систем управления. Учебное пособие / А. В. Демидова. - М.: Приор-издат, 2005. - 96 с.

18. Гусев, Ю. В. Исследование систем управления. Учебник / Ю. В. Гусева, Е. В. Фрейдина. - М.: Альфа-М: ИНФРА-М, 2009. - 368 с.

19. Кафидов, В. В. Исследование систем управления. Учебное пособие / В. В. Кафидов. - М.: Академический Проект, 2005. - 160 с.

20. Алексеев, А. Н. Исследование систем управления. Учебно-методические материалы / А. Н. Алексеев. - 2-е изд., перераб. и доп. - М.: МИЭМП, 2008. -36 с.

21. Милосердов, Д. Н. Экспертная система для предприятия / Д. Н. Милосердов // Реализация и методы обработки экспертной информации. - 2000. - С. 1318.

22. Мухин, В. И. Исследование систем управления / В. И. Мухин. - М.: Экзамен, 2003.-384 с.

23. Ползунова, H. Н. Исследование систем управления. Учебник / H. Н. Ползу-нова. - М.: Академический Проект, 2004. - 176 с.

24. Малин, А. С. Исследование систем управления / А. С. Малин. - М.: ГУ ВШЭ, 2005.-399 с.

25. Холлендер, М. Непараметрические методы статистики / Пер. с англ. под ред. Ю. П. Адлера, Ю. Н. Тюрина. - М: Финансы и статистика, 1983. - 518 с.

26. Орлов, А. И. Прикладная статистика. Учебное пособие / А. И. Орлов. - М.: Экзамен, 2004. - 110 с.

27. Орлов, А. И. Нечисловая статистика. Учебник / А. И. Орлов - M.: МЗ-Пресс, 2004.-513 с.

28. Экономико-математический словарь: Словарь современной экономической науки / JI. И. Лопатников. - 5-е изд-е., перераб. и доп. - М.: Дело, 2003. - С. 157-170.

29. Чубукова, И. A. Data Mining [Электронный ресурс] / И. А. Чубукова // Интернет-университет информационных технологий. - 2008. - Режим доступа: http://www.intuit.ru/shop/product-2493440.html.

30. Макарычев, П. П. Оперативный и интеллектуальный анализ данных. Учебное пособие / П. П. Макарычев, А. Ю. Афонин. - П.: Информационно-издательский центр ПГУ, 2010. - 74 с.

31. Короткое, Э. М. Исследование систем управления. Учебное пособие / Э. М. Короткое. - М.: ИНФРА-М, 2009. - 26 с.

32. Дейт, К. Дж. Введение в системы баз данных / Пер. с англ. Г. В. Максимович. - 8-е изд. - М.: Вильяме, 2006. - 1328 с.

33. Швецов, В. И. Базы данных [Электронный ресурс] / В. И. Швецов // Интернет-университет информационных технологий. - 2009. Режим доступа: http://www.intuit.rU/department/database/databases/.2009.

34. Codd, Е. F. Providing OLAP (On-Line Analytical Processing) to User-Analysts: An IT Mandate / E. F. Codd, S. B. Codd, C. T. Salley. - E. F. Codd & Associates, 1993.-75 p.

35. Понятия в многомерном представлении данных [Электронный ресурс]. -2011. - Режим доступа: http: //www.itstan.ru/taxonomy/term.

36. Деза, М. Изометрические полиэдральные подграфы в гиперкубах и кубических решётках / М. Деза, В. П. Гришухин, М. И. Шторгин. - М.: МЦНМО, 2008.- 192 с.

37. Система «Digsee Sure» [Электронный ресурс]. - 2010. - Режим доступа: http://www.digsee.com/ru/pro- ducts/sure.

38. Система «eSoftFeedback» [Электронный ресурс]. - 2010. - Режим доступа: http://esoft.ua/products/feed-back.

39. Система «Анкетирование» [Электронный ресурс]. - 2010. - Режим доступа: http://www.idlab.net/inter/ idsitensf/site/rus/home/products/hrm/anketa.

40. Система «1С: Предприятие 8. Оценка персонала» [Электронный ресурс]. -2010. - Режим доступа: http://v8.1c.ru/solutions/subs.jsp?subs_id=305.

41. Codd, Е. F. Is Your DBMS Really Relational? / E. F. Codd // Computer World. -1985.-P. 17-27.

42. Марасанов, A. M. Распределённые базы и хранилища данных [Электронный ресурс] / А. М. Марасанова, Н. П. Аносова, О. О. Бородин, Е. С. Гаврилов // Интернет-университет информационных технологий. - 2007. - Режим доступа: http://www.intuit.ru/department/database/olap/.

43. Полубояров, В. В. Использование MS SQL Server 2008 Analysis Services для построения хранилищ данных. Учебник / В. В. Полубояров. - Н.: ННТУ, 2010.-487 с.

44. Бергер, А. Б. Microsoft SQL Server 2005 Analysis Services. OLAP и многомерный анализ данных / А. Б. Бергера, И. В. Горбач, Э. JI. Меломед, В. А. Щербинин, В. П. Степаненко. - СПб.: БХВ-Петербург, 2007. - 909 с.

45. Туманов, В. Е. Проектирование хранилищ данных для приложений систем деловой осведомлённости (Business Intelligence Systems) [Электронный ресурс] / В. Е. Туманов // Интернет-университет информационных технологий. - 2008. - Режим доступа: http://www.intuit.ru/department/database/bispo werd/lit.html.

46. Спирли, Э. Корпоративные хранилища данных. Планирование, разработка, реализация / Пер. с англ. JI. В. Финов. - Том 1. — М.: Вильяме, 2001. - 400 с.

47. Барсегян, А. А. Технология анализа данных: Data mining, Visual Mining, Text Mining, OLAP / А. А. Барсегяна, В. В. Куприянов, В. В. Степаненко, И. И. Холод. - 2-е изд., перераб. и доп. - СПб.: БХВ-Петербург, 2007. - 384 с.

48. Чубукова, И. A. Data Mining [Электронный ресурс] / И. А. Чубукова // Интернет-университет информационных технологий. - 2006. - Режим доступа: http://www. intuit.ru/department/database/datamining/.

49. Афонин, А. Ю. Многомерное представление и обработка данных в информационной системе анкетирования: дис. ... канд. техн. наук: 05.13.01 / Афонин Александр Юрьевич. - П., 2011. - 181 с.

50. Трубилин, И. Т. Автоматизированные информационные технологии в экономике. Учебное пособие / И. Т. Трубилина, М. И. Семёнов, В. И. Лойко, Т. П. Барановская. - М., Финансы и статистика, 2000. - 416 с.

51. Трофимов, В. В. Информационные технологии. Учебное пособие / В. В. Трофимова, О. П. Ильина, М. И. Барабанова, В. И. Кияев, Е. В. Трофимова. -М.: Юрайт, 2010.-634 с.

52. Система PolyAnalyst [Электронный ресурс]. - 2011. - Режим доступа: http://www.megaputer.ru/poly-analyst.php.

53. Система Excel (Microsoft Office) [Электронный ресурс]. - 2011. - Режим доступа: http://office.microsoft.com/ru-ru/excel (программный продукт «Office»).

54. Система Microsoft Analysis Services (SQL Server) [Электронный ресурс]. -2011. - Режим доступа: http://www.microsoft.com/en-us/default.aspx (программный продукт «Microsoft SQL Server»).

55. Система Data Mining (Oracle) [Электронный ресурс]. - 2011. - Режим доступа: http://www.oracle.com.

56. Система Deductor [Электронный ресурс]. - 2011. - Режим доступа: http://basegroup.ru/.

57. Елманова, Н. 3. Введение в OLAP-технологии Microsoft / Н. 3. Елманова, А. Г. Фёдоров. - М.: Диалог-МИФИ, 2002. - 268 с.

58. Афонин, А. Ю. Информационная система анкетирования [Электронный ресурс]. - 2011. - Режим доступа: http://pnzgu.ru/ip_smk/anketirovanie/.

59. Мельников, Б. С. Поисковое проектирование: Учебное пособие / Б. С. Мельников. - М.: МЭИ, 2005. - 311 с.

60.

61.

62.

63

64

65

66

67

68

69

70

71

72

Мельников, О. И. Занимательные задачи по теории графов: Учебно-метод. пособие / О. И. Мельников. - 2-е изд, стер. - Мн.: «ТетраСистемс», 2001. -144 с.

Зыкин, С. В. Формирование гиперкубического представления реляционной базы данных / С. В. Зыкин. - М.: Изд-во «Наука», 2006. - 532 с. Бурбаки, Н. Теория множеств / Пер с фр. Г. Ф. Федотенко. - 2-е изд. - М.: МГУ, 2010.-456 с.

Levzner, L. D. Mathematical basis for the theory of systems / L. D. Levzner, E. P. Churakov. - Moscow: Vycshaya shkola, 2009. - 384 p.

Макарычев, П. П. Система анкетирования на основе Web-технологий / П. П. Макарычев, А. Ю. Афонин // Проблемы качества образования в современном обществе. - П.:ПДЗ, 2010. - С. 27-35.

Заратуйченко, О. В. Современные подходы и методы построения аналитических информационных систем / О. В. Заратуйченко // Практические вопросы в АРБ». - 1998. - С. 56-61.

Inmon, W. Н. Building the Data warehouse / W. H. Inmon. - Wellesley, MA: QED Publishing Group, 1992. - 502 p.

Кудрявцев, Ю. A. OLAP технологии: обзор решаемых задач и исследований / Ю. А. Кудрявцев // Бизнес-информатика. - 2008. - С. 153-159. Кулик, Б. А. Система логического программирования на основе алгебры кортежей / Б. А. Кулик // Известия РАН. Техн. кибернетика. - М.: РАН, 1993.-С. 26-31.

Свами, М. Графы, сети и алгоритмы / Пер. с англ. А. А. Зыкова. - М.: Мир, 1984.-455 с.

Кормен, Т. X. Алгоритмы для работы с графами / Т. X. Кормен, Ч. И. Лей-зерсон, Р. Л. Ривест, К. Штайн. - 2-е изд. - М.: Вильяме, 2006. - 696 с. Березина, Л. Ю. Графы и их применение. Учебное пособие / Л. Ю. Березина. - 2-е изд., испр. и доп. - М.: Просвещение, 2009. - 232 с. Паклин, Н. Б. Бизнес-аналитика: от данных к знаниям / Н. Б. Паклин, В. И. Орешков. - СПБ.: Изд-во «Питер», 2012. - 704 с.

73. Drill down/up. OLAP [Электронный ресурс]. - 2011. - Режим доступа: http://www.cfin.ru/itm/olap/glos-sary.shtml.

74. Хрусталёв, Е. М. Агрегация данных в OLAP-кубах / Е. М. Хрусталёв // Alef Consulting & Soft. - 2006. - С. 15-24.

75. Орлов, А. И. Эконометрика. Учебное пособие / А. И. Орлов. - М.: Изд-во «Экзамен», 2002. - 576 с.

76. Петров, А. Б. Методика сравнительной оценки интероперабельности информационных систем / А. Б. Петров, Н. А. Стариковская. - М.: «Янус-К», 2009.-204 с.

77. Кобзарь, А. И. Прикладная математическая статистика для инженеров и научных работников / А. И. Кобзарь. - М.: ФизМатЛит, 2006. - 816 с.

78. Представление данных в лепестковой диаграмме [Электронный ресурс]. -2012. - Режим доступа: http://office.microsoft.com/ru-ru/excelhelp/HA0102 18672.aspx.

79. Елисеева, И. И. Общая теория статистики. Учебное пособие / И. И. Елисеева, M. М. Юзбашев. - 5-е изд., перераб. и доп. - М.: Финансы и статистика, 2006.-480 с.

80. Саати, Т. Аналитическое планирование. Организация систем / Пер. с англ. Р. Г. Вачнадзе - М. : Радио и связь, 1991. - 224 с.

81. Ramezani, M. Design and implementation of a fuzzy expert decision support system for vendor selection / M. Ramezani, G. A. Montazer // International Conference on Enterprise Information Systems. - 2006. - P. 243-248.

82. Саати, Т. Принятие решений. Метод анализа иерархий / Пер. с англ. Р. Г. Вачнадзе - М.: Радио и связь, 1993. - 441 с.

83. Шапот, М. Д. Интеллектуальный анализ данных в системах поддержки принятия решений / М. Д. Шапот. - М.: «Открытые системы», 1998. - 228 с.

84. Хайдуков, Д. С. Применение кластерного анализа в государственном управлении / Д. С. Хайдуков. - М.: МАКС Пресс, 2009. - 287 с.

85. Попов, О. А. Кластерный анализ. Просто о сложном / О. А. Попов. - М.: МАКС Пресс, 2010. - 240 с.

86. Методы и алгоритмы анализа структуры многомерных данных [Электронный ресурс]. - 2012. - Режим доступа: http://www.codenet.ru/progr/alg/ аЬЪйп^13_10.рЬр.

87. Острейковский, В. А. Вероятностное прогнозирование работоспособности элементов ЯЭУ / В. А. Острейковский, Н. Л. Сальников. - М.: Энергоатом-издат, 1990.-416 с.

88. Ханк, Д. Э. Бизнес-прогнозирование. Учебное пособие / Д. Э. Ханк, А. Д. Райте, Д. У. Уичерн. - 7-е изд. - М.: Вильяме, 2003. - 656 с.

89. Макаров, И. М. Теория выбора и принятия решений / И. М. Макаров, Т. М. Виноградская, А. А. Рубчинский, В. Б. Соколов. -М.: Наука, 1982. - 328 с.

90. Заде, Л. А. Понятие лингвистической переменной и его применение к принятию приближённых решений / Л. А. Заде. - М.: Мир, 1976. - 165 с.

91. Особенности вербально-числовых шкал, шкала Харрингтона [Электронный ресурс]. -2011. - Режим доступа: http://www.vipeducation.ru/theme6124.htm.

92. Татарова, Г. Г. Качественные методы в структуре методологии анализа данных / Г. Г. Татарова. - М.: Изд-во «Прометей», 2002. - 133 с.

93. Гмурман, В. Е. Руководство к решению задач по теории вероятностей и математической статистике / В. Е. Гмурман. - 3-е изд., перераб. и доп. - М: Высшая школа, 2004. - 479 с.

94. Кисляк, М. А. Методы сбора информации и инструменты анализа / А. М. Кисляк. - М.: Изд-во «Прометей», 2004. - 87 с.

95. Ротштейн, А. П. Интеллектуальные технологии идентификации / А П. Рот-штейн. - В.: УНИВЕРСУМ-Винница, 1999. - 320 с.