Повышение эффективности применения ссылочных массивов данных в интегрированных системах обработки информации тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Бодров, Алексей Анатольевич

• Бодров, Алексей Анатольевич
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Бодров, Алексей Анатольевич

ВВЕДЕНИЕ.

1. АНАЛИЗ ПРОЦЕССОВ И ЗАДАЧ ИНТЕГРАЦИИ ДАННЫХ.

1.1. Методы интеграции данных в информационно-поисковых системах

1.2. Интеграция на основе ссылочных массивов.

Выводы.'./.

2. АЛГОРИТМЫ ФОРМИРОВАНИЯ И АКТУАЛИЗАЦИИ ССЫЛОЧНЫХ МАССИВОВ.

2.1. Формирование структуры витрины.

2.2. Алгоритм формирования витрины.

2.3. Обновление (актуализация) витрины.

Выводы.

3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ АНАЛИЗА И ОЦЕНКИ ЭФФЕКТИВНОСТИ РАБОТЫ ССЫЛОЧНЫХ МАССИВОВ.

3.1 Анализ процесса обновления витрины.

3.1.1. Алгоритмы актуализации витрины.

3.1.2. Расчет величины периода актуализации витрины.

3.2. Анализ методов организации обработки запросов к ссылочному массиву

3.2.1. Анализ работы сервера обработки запросов.

3.2.2. Анализ процесса обработки запросов группой однородных серверов

3.2.3. Анализ процесса обработки запросов группой разнородных серверов

Выводы.

4. ПРИМЕНЕНИЕ РЕЗУЛЬТАТОВ РАБОТЫ В РЕАЛЬНЫХ ИНТЕГРИРОВАННЫХ ИНФОРМАЦИОННО-ПОИСКОВЫХ СИСТЕМАХ

4.1. Специализированная интегрированная информационно-поисковая система.

4.1.1. Цели, назначение и область использования подсистемы.

4.1.2. Описание процесса деятельности подсистемы «Центр-МВД-ГИАЦ»

4.1.3. Описание организационной структуры подсистемы.

4.1.4. Основные технические решения.

4.1.5. Описание программного обеспечения.

Введение диссертации (часть автореферата) на тему «Повышение эффективности применения ссылочных массивов данных в интегрированных системах обработки информации»

Проблема интеграции данных, содержащихся в локальных независимых автономных и неоднородных источниках, стала весьма актуальной в последние годы при разработке и развитии систем обработки информации различного уровня и назначения.

Интеграция позволяет пользователям и программным средствам корпоративной системы осуществлять доступ к локальным информационным системам как к одной общей системе и производить поиск и обработку требуемой информации без учета специфики представления, хранения и обеспечения безопасности в локальных системах. Поэтому интеграция информационных ресурсов является, в настоящее время, одним из наиболее важных направлений при создании корпоративных систем обработки информации и управления. Важной темой сегодняшнего дня становятся технологии и программные продукты, способные обеспечить безболезненную интеграцию локальных систем обработки информации, возможность концентрации информации с целью оперативного и более эффективного принятия решений (анализа и управления).

Существует множество методов интеграции информационных ресурсов. От выбора метода зависит эффективность работы программного обеспечения, скорость выполнения запросов и актуальность предоставляемых данных. Одним из наиболее распространенных является метод, основанный на создании и применении ссылочных массивов. Однако его эффективное практическое применение требует разработки соответствующих методов управления процессами обработки информации, анализа взаимодействия с локальными системами, знания специфики решаемых прикладных задач, требований к качеству данных и алгоритмам управления.

В связи с этим тематика диссертационной работы, связанная с разработкой математических моделей для анализа и повышения эффективности применения ссылочных массивов в интегрированных системах обработки информации, является актуальной, а результаты диссертации имеют важное практическое значение.

Целью работы является повышение эффективности применения ссылочных массивов в интегрированных системах обработки информации за счет разработки и теоретического обоснования методов создания, ведения и актуализации ссылочных массивов и обработки запросов к ним.

Для достижения указанной цели были поставлены следующие задачи:

1. исследование и анализ методов построения интегрированных систем обработки информации;

2. разработка алгоритмов формирования и актуализации ссылочного массива, позволяющих обеспечить доступ к информации, обработку запросов к локальным системам;

3. разработка математических моделей для управления процессами актуализации ссылочного массива и обработки запросов пользователей к ссылочному массиву;

4. разработка методики адаптации математических моделей и алгоритмов для создания специализированных интегрированных систем обработки информации.

Научная новизна полученных результатов заключается в выборе объекта исследования - ссылочного массива, проведении анализа и обобщения известных теоретических и практических данных по созданию интегрированных систем обработки информации с использованием ссылочных массивов, установлении связей между характеристиками интегрированной системы и параметрами ссылочных массивов, что позволило построить комплекс математических моделей для системного анализа, оценки и повышения эффективности применения ссылочных массивов в интегрированной системе.

Разработаны:

- алгоритмы создания и ведения ссылочных массивов;

- комплекс математических моделей процессов актуализации и обработки запросов в ссылочных массивах;

- алгоритмы актуализации ссылочных массивов и обработки запросов в ссылочных массивах.

Практическая значимость результатов диссертации состоит в создании алгоритмов для анализа и управления процессами организации и управления работой ссылочных массивов данных при актуализации и организации обработки запросов, ориентированных на специфику конкретной корпоративной системы управления. Полученные результаты можно применять при создании, анализе и администрировании корпоративных информационных систем, использующих интегрированные данные различного назначения.

Достоверность и обоснованность основных результатов и выводов диссертации базируются на обобщении и развитии существующего опыта создания и применения ссылочных массивов в интегрированных системах обработки информации, разработке математических моделей с учетом специфики применения ссылочных массивов и обработки запросов пользователей, на соответствии полученных результатов сведениям, опубликованным в отечественной и зарубежной печати, на результатах практического применения разработанных моделей и алгоритмов при создании конкретных интегрированных систем управления и обработки информации специального назначения.

При решении поставленных в диссертации задач применялись методы теории систем, теории очередей, теории вероятностей, теории множеств, математического программирования.

Результаты диссертационной работы докладывались и обсуждались на научных семинарах ИКТИ РАН, ИСА РАН, ИЛИ РАН.

Результаты проведенных исследований использованы при создании специализированных интегрированных систем обработки информации в ФСБ

России и МВД России, что подтверждено соответствующими актами.

Основные результаты диссертации опубликованы в 6 печатных работах, в том числе 2 из них в журналах рекомендованных ВАК.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Бодров, Алексей Анатольевич

ОБЩИЕ ВЫВОДЫ

По результатам проведенных в диссертации исследований и реализации предложенных методов организации работы и математических моделей для построения и анализа специализированной интегрированной системы можно сделать следующие выводы.

1. В диссертации решена важная задача повышения эффективности применения ссылочных массивов данных в интегрированных системах обработки информации.

2. Проведен анализ современных подходов к построению интегрированных систем обработки информации, который позволил, выделить достоинства и недостатки различных методов интеграции и выбрать для исследования метод интеграции на основе ссылочных массивов.

3. Исследованы особенности, установлены наиболее важные связи и закономерности в процессах создания, обслуживания и применения ссылочных массивов в интегрированных системах обработки информации. Разработаны критерии эффективности применения ссылочных массивов. Определены задачи, интегрированной системы, решение которых целесообразно проводить с применением ссылочных массивов.

4. Проведен анализ процесса обработки информации с использованием ссылочных массивов. Выделены основные задачи, решение которых необходимо при создании интегрированной системы на основе ссылочных массивов, связанные с актуализацией данных в ссылочном массиве и организацией работы центра обработки запросов.

5. Разработаны алгоритмы формирования и актуализации ссылочных массивов, обеспечивающие возможность поиска необходимых данных в локальных системах, возможность формирования запросов к локальным системам при обращении к ссылочному массиву, актуальность данных в ссылочном массиве.

6. Разработаны математические модели для расчета характеристик интегрированной системы при применении ссылочных массивов. Модели позволяют выбрать период актуализации ссылочного массива с учетом динамики изменения данных с локальных системах, определить число серверов при создании центра обработки запросов к интегрированной системе. Модели учитывают специфику формирования запросов и возможные режимы работы серверов.

7. Разработанные методы построения системы и математические модели использованы при создании и организации работы специализированных интегрированных систем обработки информации, что позволило повысить скорость и качество обработки запросов. Разработанные модели и алгоритмы использованы в учебном процессе при обучении студентов.

Проведенные в диссертации теоретические исследования и решенные практические задачи по разработке и анализу методов повышения эффективности применения ссылочных массивов при создании и организации работы интегрированных систем обработки информации могут быть полезны разработчикам и администраторам информационных систем при решении задач управления работой систем, определении состава и параметров оборудования для центров обработки запросов.

Список литературы диссертационного исследования кандидат технических наук Бодров, Алексей Анатольевич, 2009 год

1. Авен О.И:, Гурин H.H., Коган Я.А. Оценка качества и оптимизация вычислительных систем. - М.: Наука, 1982. - 464 с.

2. Айвазян С.А. и др. Прикладная статистика //том 1 Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. - 471с.

3. Альянах И.Н. Моделирование вычислительных систем. Л.: Машиностроение, 1988.-223 с.

4. Арсеньев Б.П., Яковлев С.А. Интеграция распределенных баз данных. -СПб.: Изд-во "Лань", 2001.- 464 с.

5. Атре Ш. Структурный подход к организации баз данных. М.: Финансы и статистика, 1983.

6. Афанасьев В.Н., Фуфлыгин М.Д. Информационные технологии в социально-экономической сфере. М.: МИЭМ, 1998.

7. Байцер Б. Архитектура вычислительных комплексов. В 2-х частях. -М.: Мир, 1974.

8. Бакусов Л.М. и др. Математические модели информационных процессов и управления в АСУ: Учебн. пособие. Уфа, 1991.

9. Балыбердин В.А. Оценка и оптимизация характеристик систем обработки данных. — М.: Радио и связь, 1987. 176 с.

10. Барышев М.Л., Драчевский В.И., Капитанов В.Т. Исследование эффективности автоматизированных систем управления дорожным движением.- М., ВНИЦБД МВД СССР, 1990.

11. П.Башарин Г.П., Бочаров П.П., Коган Я.А. Анализ очередей в вычислительных сетях. Теория и методы расчета. М.: Наука, 1989. -336 с.

12. Бертсекас Д., Галагер Р. Сети передачи данных.: Пер. с англ. М.: Мир, 1989.-544 с.

13. Блэк Ю. Сети ЭВМ: протоколы, стандарты, интерфейсы. / Пер. с англ. -М.: Мир. 1990.-510с.

14. Бобровски С. Oracle 7: вычисления клиент/сервер. Пер. с англ. С. Орлова. М.: "Лори"., 1996.

15. Богуславский Л.Б., Ляхов А.И. Оценка производительности распределенных информационно-вычислительных систем архитектуры "клиент-сервер". Автоматика и телемеханика, №9, 1995.

16. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем.- М.: Финансы и статистика, 1989. 260 с.

17. Бойченко Е.В. и др. Локальные вычислительные сети. М.: Радио и связь, 1985.

18. Бочаров П.П., Печинкин А.В. Теория массового обслуживания. М.: Изд-во РУДН, 1995. - 529 с.

19. Бронштейн О.И., Духовный И.М. Модели приоритетного обслуживания в информационно-вычислительных системах. М.: Наука, 1976.-220 с.

20. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. М.: Техносфера, 2003. - 512с.

21. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.: Наука, 1966.

22. Григорьев О.Г. Модель работы сервера приложений в распределенной системе // Электросвязь. 2004. № 10.

23. Григорьев О.Г. Модели работы серверов обработки запросов в распределенной информационной системе .// Proceedings of International Conference "Information and Telecommunication Technologies in Intelligent Systems" / Barcelona, Spain. May 22-29, 2004.

24. Гуляев Ю.В., Олейников А .Я., Филинов E.H. Развитие и применение открытых систем в Российской Федерации. // Информационные технологии и вычислительные системы. М.:1995. Том 1, N 1, с. 1-12.

25. Гусева А.И. Технология межсетевых взаимодействий. М.: Диалог МИФИ, 1997. - 176 с.

26. Дейт К. Введение в системы баз данных. 6-е изд. М.: Диалектика, 1998.-784 с.

27. Дирк Слема, Джейсон Гарбис, Перри Рассел. Корпоративные системы на основе CORBA. Пер. с англ. М.: Изд. Дом "Вильяме", 2000. - 386 с.

28. Дунаев С.Б. INTRANET технологии. М.: Диалог-МИФИ, 1997. - 272 с.

29. Дэвис Д., Барбер Д., Прайс У., Соломонидес С. Вычислительные сети и сетевые протоколы. М.: Мир, 1982. - 562 с.

30. Емеличев В.А. Метод построения последовательности планов для решения задач дискретной оптимизации. М.: Наука, 1981.

31. Калиниченко Л.А., Методы и средства интеграции неоднородных баз данных, 1983.

32. Калиниченко Л.А., Костромина O.E., Хитрова О.Н. Концепции построения систем управления распределенными БД// Прикладная информатика. М.: Финансы и статистика.- 1984.

33. Камер Дуглас Э. Компьютерные сети и Internet. Разработка приложений для Internet. : Пер. с англ. М.: Изд. дом "Вильяме", 2002. - 640 с.

34. Кемени Дж., Снелл Дж. Конечные цепи Маркова. М.: Наука, 1970. -272 с.

35. Клейнрок Л. Теория массового обслуживания. Пер. с англ. Под ред. В.И. Неймана. М.: Машиностроение, 1979.-432 с.

36. Клейнрок Jl. Вычислительные системы с очередями. Пер. с англ. Под ред. Б.С. Цыбакова.- М.: Мир. 1979. 600 с.

37. Конвей. Р.В., Максвелл В.Л., Миллер Л.В. Теория расписаний. М.: Наука, 1975.-360 с.

38. Кофман А., Анри-Лабордер А. Методы и модели исследования операций. М.: Мир, 1977. - 432 с.

39. Кристофидес Н. Теория графов. Алгоритмический подход. М.: Мир, 1978.-432с.

40. Кульба В.В., Ковалевский С.С., Косяченко С.А., Сиротюк В.О. и др. Теоретические основы проектирования оптимальных структур распределенных баз данных, 1999.

41. Ладыженский Г.М. Технология "клиент-сервер" и мониторы транзакций./ Открытые системы. Вып.7. 1994.

42. Ладыженский Г.М., Леонтьев В.В., Пуха Ю.В. Принципы построения распределенных информационных систем.// Развитие и применение открытых систем. Тезисы докладов Ш международной конференции.-М.: МЦНТИ, 1996.

43. Ланкастер П. Теория матриц. Пер. с англ. М.: Наука, 1978. - 280 с.

44. Лезер Н. Архитектура открытых распределенных систем. Открытые системы, вып. 3. 1993.

45. Липаев В.В. Направления развития методов и стандартов открытых систем.// Информатика и вычислительная техника. Научно-технический сб. Вып. 1-2. 1995.

46. Мартин Дж. Вычислительные сети и распределенная обработка данных /М.: "Финансы и статистика", 1985.

47. Мартин Дж. Организация баз данных в вычислительных системах. -М.: Мир, 1980.-664 с.

48. Месарович М., Мако Д., Такахара И. Теория иерархическихмногоуровневых систем. М.: Мир, 1973.

49. Моисеев H.H., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. М.: Наука, 1978.-352 с.

50. Моисеев H.H. Математические задачи системного анализа. М.: Наука, 1981.-488 с.51 .Москаленко О.М. Опыт проектирования и разработки банковской системы для трехуровневой архитектуры клиент-сервер. // СУБД. -1996.- №3. С.29-43.

51. Нейман В. И. Структуры систем распределения информации. М.: Связь, 1975.-264 с.

52. Николаев В.И., Брук В.М. Системотехника: методы и приложения. -Л.: Машиностроение, 1985. — 199 с.

53. Овчаров Л.А. Прикладные задачи теории массового обслуживания, М.: Машиностроение, 1969.

54. Олифер В.Г., Олифер H.A. Компьютерные сети. Принципы, технологии, протоколы. СПб.: Питер, 1999. 672 с.

55. Олифер В.Г., Олифер H.A. Новые технологии и оборудование IP-сетей. СПб.: БХВ-Санкт-Петербург, 2000. 512с.

56. Организация ЭВМ и вычислительных сетей. Под. ред. проф. В.Н. Азарова- М.: МГИЭМ, Центр сетевых технологий, 1997.

57. Основы теории вычислительных систем. Под ред. Майорова С.А. -М.: Высшая школа, 1978.

58. Прангишвили И.В. и др. Локальные микропроцессорные вычислительные сети.- М.: Наука, 1984.

59. Растригин Л.А. Современные принципы управления сложными объектами. М:. Сов. радио, 1980.

60. Редкозубов С.А. Статистические методы прогнозирования в АСУ.-М.: Энергоиздат, 1981.

61. Ретано А., Слайс Д., Уайт Р. Принципы проектирования корпоративных IP-сетей. : Пер. с англ. М.: Изд. дом «Вильяме», 2002.- 368 с.

62. Риордан Дж. Вероятностные системы обслуживания. М.: Связь, 1966.- 184 с.

63. Саати Т.А. Элементы теории массового обслуживания и ее приложения. М.: Сов. Радио, 1971. - 520с.

64. Садовский В.Н. Основания общей теории систем. — М.: Наука, 1974. -280 с.

65. Саксонов Е.А. Исследование многоканальной замкнутой циклической системы массового обслуживания. Автоматика и телемеханика. 12, 1979. с.80-86.

66. Семенов Ю.А. Протоколы и ресурсы Internet. М.: Радио и связь, 1996.-320 с.

67. Сипсер Р. Архитектура связи в распределенных системах.- М.: Мир, 1981.

68. Столингс В. Криптография и защита сетей: принципы и практика, 2-е изд.: Пер. с англ. М.: Изд. Дом «Вильяме», 2001. - 672 с.

69. Танненбаум Э., М. Ван Стен. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 877 с.

70. Телекоммуникационные компьютерные сети России. Справочник.-М.: Россия, 1992.

71. Воробьев Е.М. Введение в систему «Математика». М.: Финансы и статистика, 1998. — 262 с.

72. Ульман Дж. Основы систем баз данных: Пер. с англ. М.: Финансы и статистика. 1983. - 572 с.

73. Уэлдон Д.-Л. Администрирование баз данных: Пер. с англ. М.: Финансы и статистика. - 1984. - 360 с.

74. Файнберг В. Базы данных типа "клиент-сервер" // Компьютер Пресс.-1990. №7.- С.49-54.

75. Феллер В. Введение в теорию вероятностей и ее применения. В 2-х томах. Пер с англ.- М.: Мир, 1987. Т1-528с. Т2-738с.

76. Фролов А.В., Фролов Г.В. Глобальные сети компьютеров. М.: Диалог МИФИ,- 1995.

77. Фрэнк Г., Фриш И. Сети, связь и потоки. Пер. с англ. М.: Связь, 1978.- 448 с.

78. Цвиркун А.Д. Основы синтеза структуры сложных систем. -М.: Наука, 1982.

79. Шварц М. Сети связи: протоколы, моделирование и анализ: В 2 ч.- М.: Наука, 1992.-336 с.

80. Шенк Д.Д. Руководство Novell. Технология клиент/сервер и ее приложения.- М.: Лори, 1995. 272 с.

81. Adler R. Distributed Coordination Model for Client/Server Computing/ IEEE Computer, vol. 28, N4, pp. 14-22.

82. Anderson R. Security Engineering A Guide to Building Dependable Distributed Systems. New-York: John Wiley, 2001.

83. Buretta M. Data Replication: Tools and Techniques for Managing Distributed Information. New York: John Wiley, 1997.

84. Cheng P. A. Security Architecture for the Internet Protocol. IBM Systems Journal, N1, 1998.

85. Cristian F. Understanding Fault-Tolerant Distributed Systems. Commun. ACM, vol. 34, N2, hh. 56-78.

86. Emmeich W. Engineering Distributed Objects. New-York: John Wiley, 2000.

87. Forman I.R. On the design of large distributed systems // Proc. IEEE CS 1986 Int. Conf. on Computer Languages, Miami, FL.-1986.-P.84-95.

88. Ford W. Computer Communications Security Principles, Standard Protocols and Techniques. New Jersey: Prentice-Hall, 1994.

89. James D. McCabe. Practical Computer Network Analysis and Design. Morgan Kaufmann Publishing company, 1998.

90. Oracle. Database Administrator's Guide. Oracle Corp.- 1984.

91. Stallings W. Data and Computer Communications, Fifth Edition. Upper

92. Saddle River, NJ: Prentice Hall, 1997.

93. Межведомственная интеграция: пути оптимизации», Ирина Полотнюк, «ФОРС Центр Разработки».