Односторонняя интеграция информационных систем в территориально распределённых организациях тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат технических наук Тарханов, Иван Александрович

• Тарханов, Иван Александрович
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Тарханов, Иван Александрович

ВСТУПЛЕНИЕ.

1. ОБЗОР ИНСТРУМЕНТОВ И СХЕМ ИНТЕГРАЦИИ.

1.1 Классификация инструментов интеграции.

1.1.1 Мировой опыт в интеграции корпоративных систем.

1.1.2 Уровни интеграции.

1.2 Классификация участвующих в интеграции систем.

1.3 Территориально распределённые организации.

1.4 Интеграция с базами данных неподдерживаемых систем.

1.4.1 Односторонняя интеграция информационных систем на уровне данных.

1.4.2 Неподдерживаемые базы данных.

1.5 Обзор инструментов интеллектуального извлечения данных.

1.6 Постановка задачи диссертационной работы.

2. МОДЕЛЬ НЕПОДДЕРЖИВАЕМОЙ БД И АЛГОРИТМ ИЗВЛЕЧЕНИЯ ДАННЫХ.

2.1 Односторонняя интеграция информационных систем.

2.2 Неподдерживаемая реляционная модель данных.

2.2.1 Реляционная модель данных.

2.2.2 Влияние проблем неподдерживаемых баз данных на схему отношения.

2.2.3 Схема результирующего отношения.

2.3 Извлечение данных из неподдерживаемой БД.

2.3.1 Алгоритм извлечения данных из неподдерживаемой БД.

2.3.2 Степень доверия запросу.

2.3.3 Вероятность достоверности атрибута.

2.3.5 Вероятность искажения атрибута в схеме.

2.3.6 Индекс соответствия запросу.

2.3.7 Особенности работы алгоритма.

3. МЕТОДИКА И ПРОГРАММНЫЙ МОДУЛЬ ОДНОСТОРОННЕЙ ИНТЕГРАЦИИ.

3.1 Методика односторонней интеграции.

3.1.1 Исследование возможностей использования с другими моделями БД.

3.1.2 Условия применения методики.

3.1.3 Расширения алгоритма.

3.1.4 Интеграция с промышленными СУБД.

3.1.5 Основные этапы методики.

3.1.6 Сравнение с Knowledge Discovery in Database.

3.1.7 Параметризация.

3.2 Программный модуль односторонней интеграции.

3.2.1 Выбор инструментальных средств интеграции.

3.2.2 Взаимодействие с БД.

3.2.3 Реализация внешних вызовов.

3.2.4 Разбор файлов.

3.2.5 Архитектура программного модуля.

3.2.6 Функциональные возможности модуля.

4. ПРАКТИЧЕСКИЙ ОПЫТ ОДНОСТОРОННЕЙ ИНТЕГРАЦИИ.

4.1 Практические задачи интеграции.

4.2 Одностороння интеграция ЭАПУ и ПТК СПУ.

4.2.1 Представление данных в ПТК СПУ.

4.2.2 Проблемы и требования организации интеграции ЭАПУ и ПТК СПУ.

4.2.3 Параметризация задачи поиска входящего номера в ПТК СПУ.

4.2.4 Оптимизация методики под задачу интеграции ЭАПУ и ПТК СПУ.

4.2.5 Пользовательский интерфейс поиска входящих номеров в ЭАПУ.1.

4.2.6 Результаты односторонней интеграции ЭАПУ и ПТК СПУ.

Введение диссертации (часть автореферата) на тему «Односторонняя интеграция информационных систем в территориально распределённых организациях»

Актуальность темы. В процессе увеличения масштаба, усложнения архитектуры, наращивания функциональных возможностей и автоматизации новых сфер деятельности многие информационные системы (далее ИС) сталкиваются с проблемой интеграции с другими ИС. Часто возникают ситуации, в которых несколько ИС становятся частью одного бизнес процесса, хотя изначально никакого взаимодействия между ними не планировалось. В этой ситуации появляется задача организации необходимого взаимодействия минимальными изменениями в существующих информационных системах предприятия (далее корпоративной ИС).

Сейчас на рынке предлагается огромное количество инструментов для интеграции от разных производителей. При рассмотрении вопроса внедрения новой ИС в существующую корпоративную ИС предприятия, требования к интеграции, заложенные в новую ИС, в настоящее время являются одними из ключевых. На данный момент, сегмент услуг по интеграции корпоративных приложений считается одним из самых бурно .развивающихся сегментов ИТ-индустрии (см. по [1, 2, 3, 4, 68, 69, 70, 73]). По прогнозам IDC, рынок программного обеспечения, предназначенного для решения интеграционных задач, составит в 2008 году 8,2 $млрд. против 4,3 $млрд. в 2001 году [4, 73]. ,

Проблемы интеграции внедряемых и уже внедрённых ИС не удается избежать ни одной территориально распределённой компании, обладающей развитой структурой приложений в каждом региональном представительстве. Существует несколько основных способов организации взаимодействия, но если нельзя вносить изменения в код уже внедрённых систем, многие из них не подходят. В таком случае, организация доступа к базам данных (БД) внедрённой ИС напрямую становится практически единственным возможным способом интеграции.

Каждая ИС имеет вход и выход в рамках общего бизнес процесса. Вход и выход неизменяемой. внедрённой системы тоже не меняется. Поэтому, в ■ силу сложившихся обстоятельств, внедряемой системе остаётся научиться работать с входом и выходом из системы внедрённой. В случае, когда вся работа по организации интеграции проводится в одной системе имеет, место односторонняя интеграция.

Не редка , ситуация, что при неправильной эксплуатации системы, наличии материальных, технических трудностей, большой географической распределенности компании с БД такой PIC становится трудно работать. Возможны нарушения и ошибки при вводе данных, появление избыточной или дублирующей информации в БД, несоответствие реально хранящейся в БД информации об объектах понятийным и декларативным знаниям о них. Трудно извлекать какую либо информацию из таких БД, даже если их формат известен. Такие БД называются неподдерживаемыми. На рынке существует ряд программных средств решающих, в том числе, и описанные проблемы. Большинство из них относятся к классу Data Mining. Обычно их разделяют на аналитические платформы и СУБД с набором алгоритмов Data Mining. Ориентированность первых из них на более широкий круг задач и анализ всего массива данных приводит к невозможности использования их динамически, с многократными обращениями к БД, накладывает существенные ресурсные и временные ограничения. Вторые показывают отличные результаты только на СУБД определённых производителей и требуют дополнительной разработки при интеграции с существующими системами.

Кроме того, проблемы односторонней интеграции и задача поиска и извлечения данных из неподдерживаемой реляционной БД не обладают достаточной теоретической проработкой и характеризуются отсутствием концептуального подхода к решению. Отсюда и вытекает актуальность предложенной темы диссертации.

Цель данной работы: Целью данной работы является создание инструмента односторонней интеграции между внедряемыми и уже внедрёнными системами, способного осуществлять извлечение данных из неподдерживаемой БД внедрённой системы в территориально распределенных организациях.

Задачи данной работы:

1. Определение понятия односторонней интеграции.

2. Обобщение проблематики поиска в неподдерживаемых БД в территориально распределённых организациях.

3. Разработка алгоритма, извлекающего данные из неподдерживаемых реляционных БД.

4. Разработка методики односторонней интеграции по средствам доступа к неподдерживаемой БД.

5. Исследование возможности применения алгоритма в других видах БД: объектно-ориентированных, объектно-реляционных.

6. Апробация методики для решения различных задач в процессе организации односторонней интеграции систем.

7. Разработка формата данных для параметризации задачи односторонней интеграции.

8. Разработка принципов создания инструмента интеграции, реализующего основные этапы методики, работающего без необходимости дополнительной разработки и предварительной выгрузки всех данных для анализа.

9. Разработка инструмента интеграции на уровне данных, способного решать различные задачи односторонней интеграции без необходимости дополнительной разработки и предварительной выгрузки всех данных для анализа с помощью методики.

Объект п предмет исследования Объект исследования — существующие классы инструментов интеграции корпоративных систем, схемы интеграции, современные средства интеллектуального анализа больших объемов информации (Data Mining) и методика Knowledge Discovery in Databases. Предмет исследования - методы и алгоритмы применимые для анализа реляционных данных.

Метод исследования

В диссертационной работе использованы теории построения алгоритмов, теория множеств, теория вероятности, реляционная алгебра, нечёткая логика, методы -проектирования информационных систем, объектно-ориентированные методы создания программного обеспечения и интеграции программных комплексов.

Научная и практическая новизна работы.

Автором получены следующие новые результаты:

1. Введено понятие односторонней интеграции.

2. Формализована модель, основанная на реляционной алгебре, и само понятие неподдерживаемой БД.

3. Формализована задача поиска в неподдерживаемой реляционной БД. Исследованы основные трудности поиска в территориально распределённых реляционных БД.

4. Разработан алгоритм, позволяющий выполнять извлечение данных из неподдерживаемых БД в территориально распределённых организациях.

5. Проведено теоретическое исследование возможностей использования алгоритма на объектно-ориентированных БД и объектных расширений над реляционными БД.

6. Разработана методика односторонней интеграции на основе алгоритма извлечения данных. Методика доработана и апробирована для решения ряда задач односторонней интеграции.

7. Разработан формат, основанный на текстовых ini-файлах и файлах XML и предназначенный для параметризации задачи интеграции и гибкой настройки всех этапов реализуемой методики.

8. Разработан и применён на практике программный модуль, реализующий основные этапы методики односторонней интеграции, способный решать разные задачи односторонней интеграции без дополнительной разработки и предварительной выгрузки всего массива данных.

Практическая значимость работы Созданный программный модуль, обеспечивает одностороннюю интеграцию с неподдерживаемыми реляционными БД на серверах AS/400 Программно-технического комплекса Система Персонифицированного учета для Пенсионного Фонда России, в составе ИС Электронного Архива персонифицированного учета. Модуль был апробирован и внедрён в промышленную эксплуатацию в 68 региональных отделениях персонифицированного учёта Пенсионного фонда России.

Публикации. Основные результаты, полученные в диссертации, опубликованы в четырёх статьях [б, 7, 9, 10] (одна из них в соавторстве [9]).

Разбиение работы на главы. Диссертация состоит из введения, четырех глав, заключения. Объем работы - 139 страниц.

Заключение диссертации по теме «Управление в социальных и экономических системах», Тарханов, Иван Александрович

Основные результаты, полученные в настоящей работе, заключаются в следующем:

1. Введено понятие односторонней интеграции. Выделен основной круг проблем, возникающих в неподдерживаемых БД в территориально распределённых организациях, исследованы причины их возникновения и зависимость изменения схемы БД от них.

2. Формализована модель, основанная на реляционной алгебре, и само понятие неподдерживаемой БД. Проведено теоретическое исследование возможностей использования этой модели для объектно-ориентированных БД и объектных расширений над реляционными БД.

3. Формализована задача поиска в неподдерживаемой реляционной БД. Исследованы основные трудности и отличия от поиска в обыкновенных реляционных БД.

4. Разработан алгоритм, позволяющий извлекать данные из неподдерживаемой реляционной БД в территориально распределённых организациях и на его основе методика односторонней интеграции.

5. Спроектировано и апробировано несколько методов оптимизации и проверки результатов работы методики односторонней интеграции.

6. Разработан формат, основанный на текстовых файлах и файлах XML и предназначенный для параметризации задачи интеграции и гибкой настройки всех этапов реализуемой методики.

7. Разработан и применён на практике программный модуль, способный работать с различными базами данных и решать задачи односторонней интеграции без дополнительной разработки и предварительной выгрузки всего массива данных. Модуль реализует основные этапы методики.

Разработанный инструментарий используется для односторонней интеграции информационной системы «Электронный Архив Персонифицированного Учёта» и программно-технического комплекса «Система персонифицированного учета» в в 68 региональных отделениях персонифицированного учета Пенсионного фонда России.

Заключение

Работа посвящена одной из наиболее сложных и распространённых проблем в последнее время - интеграции внедряемых информационных систем с уже внедрёнными системами, в которые нельзя вносить изменения. Задача становится ещё более сложной, если речь идёт об интеграции с БД внедрённой системы в территориально распределённой организации. В качестве основного подхода выбран способ интеграции с базой данных напрямую. Особое внимание уделено проблемам извлечения данных из реляционных БД, в которых отсутствует контроль за их заполнением и которые используются разными системами для разных целей. Рассмотрена реляционная модель данных, на её основе построена модель неподдерживаемой реляционной базы данных. Проанализированы и изучены возможные изменения схемы в такой модели и природа этих изменений. Сделано обоснование использования вероятностной оценки для поисковых запросов к такого рода данным. Предложен альтернативный подход к поиску в неподдерживаемых данных, учитывающий проблемы эксплуатации БД в территориально распределённых организациях. Проведено исследование применения данного подхода для других типов баз данных: объектных и объектно-реляционных. Подход получил свой развитие в методике односторонней интеграции, которая, в свою очередь, реализована в программном модуле.

Помимо собственной реализации в работе проведена классификация возможных схем и инструментов интеграции от простых до самых сложных. Сделан обзор рынка средств интеграции информационных систем и мировых тенденций в разработке инструментов интеграции. В процессе рассмотрения собственной реализации методики обоснованы причины выбора тех или иных технологий.