Анализ загрузки телекоммуникационной сети интегрированной информационной системы статистическими данными для оценки и обеспечения качества информации тема диссертации и автореферата по ВАК РФ 05.13.13, кандидат технических наук Забелин, Олег Алексеевич

• Забелин, Олег Алексеевич
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Забелин, Олег Алексеевич

ВВЕДЕНИЕ.

1. ПРОБЛЕМА ОБЕСПЕЧЕНИЯ КАЧЕСТВА ДАННЫХ В СОВРЕМЕННЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ.

1.1. Особенности построения и работы современных информационных систем.

1.1.1. Архитектура современной информационной системы.

1.1.2. Особенности работы интегрированной ИС.

1.1.3. Проблемы обеспечения качества данных в интегрированной ИС

1.2. Общие подходы к оценке качества данных информационной системы.

1.2.1. Оценка качества баз данных.:.

1.2.2. Оценка качества данных.

1.3. Политика обеспечения качества данных в информационной системе

1.3.1. Задачи обеспечения качества данных.

1.3.2. Подсистема оценки и обеспечения качества данных.

Выводы.'.

2. ЗАДАЧИ ОЦЕНКИ И ОБЕСПЕЧЕНИЯ КАЧЕСТВА ДАННЫХ В ИНТЕГРИРОВАННЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ.

2.1. Задачи администрирования данных в информационной системе.

2.1.1. Администрирование данных.

2.1.2. Администрирование баз данных.

2.2. Характеристики качества данных.

2.3. Оценка и обеспечение полноты и актуальности данных.

2.3.1. Полнота данных.

2.4. Статистические методы обследования данных.

2.4.1. Сплошное обследование.

2.4.2. Обследование специально отобранных единиц.

2.4.3. Выборочный метод.

2.5. Задачи обеспечения и оценки полноты и актуальности данных.

2.5.1. Обеспечение и оценка полноты данных.

2.5.2. Задачи актуализации данных.

Выводы.

3. МАТЕМАТИЧЕСКИЕ МОДЕЛИ ДЛЯ РАСЧЕТА ДОПОЛНИТЕЛЬНОЙ НАГРУЗКИ ПРИ ОЦЕНКЕ И ОБЕСПЕЧЕНИИ ПОЛНОТЫ И АКТУАЛЬНОСТИ ДАННЫХ.

3.1. Математические модели для оценки полноты базы данных.

3.1.1. Модель двухступенчатой выборки.

3.2. Математические модели для оценки актуальности базы данных.

3.2.1. Актуализация не проводится.

3.2.2. Актуализация производится.

3.2.2.1. Оценка затрат на актуализацию данных.

3.2.2.2. Оценка величины штрафа.

3.3.2.3. Оценка затратна проведение актуализации данных.

3.3.2.4. Подбор оптимальных значений параметров Т и 0.

3.3. Модели для оценки загрузки телекоммуникационной и компьютерной сетей.

3.3.1. Расчет дополнительной нагрузки при оценке и обеспечении полноты данных.

3.3.2. Расчет дополнительной нагрузки при обеспечении актуальности данных.

Выводы.

4. ПРИМЕНЕНИЕ РАЗРАБОТАННЫХ МЕТОДОВ В АИС УЧЕТА ИНОСТРАННЫХ ГРАЖДАН.

4.1. Описание системы.

4.2. Формирование в ЦБД.

4.3. Описание работы системы.

4.2. Функционирование АИС УИГ.

4.4. Анализ потоков данных для подсистемы оценки и обеспечения актуальности данных.

Выводы.

Введение диссертации (часть автореферата) на тему «Анализ загрузки телекоммуникационной сети интегрированной информационной системы статистическими данными для оценки и обеспечения качества информации»

На сегодняшний день большое количество предприятий и организаций различных форм собственности имеют свои локальные информационные системы, где хранится необходимая для обеспечения их деятельности информация.

Развитие и объединение предприятий, расширение круга решаемых задач обуславливают необходимость интеграции локальных данных в единое информационное пространство. При этом резко возрастают объемы хранимой и обрабатываемой информации. Информационные системы становятся все более крупномасштабными как по объемам хранимых и обрабатываемых данных, так и по функциональному назначению решаемых задач.

В этих условиях особое внимание должно уделяться обеспечению качества данных, поскольку оно определяет эффективность применения информационной системы, обоснованность и правомерность принимаемых решений. От качества используемой в информационных системах информации часто зависит принципиальная возможность ее использования при принятии управленческих решений. Поэтому наряду с качественным и количественным ростом информационных систем, значимость проблемы обеспечения качества данных будет постоянно возрастать.

Однако, если вопросы оценки и обеспечения качества данных на теоретическом уровне достаточно хорошо исследованы в работах по теории вероятностей и математической статистике, то реализация алгоритмов и моделей для оценки и обеспечения качества данных в реальных условиях требует проведения дополнительных исследований.

Это обусловлено тем, что когда в информационных системах хранятся и обрабатываются очень большие объемы данных (109 - 1012) записей, работы по оценке и обеспечению качества данных становятся весьма трудоемкими, сильно загружая телекоммуникационные и вычислительные средства информационной системы дополнительными потоками данных и программным обеспечением.

Для проведения таких работ, в рамках существующей информационной системы, целесообразно создавать специализированные подсистемы, использующие уже имеющиеся телекоммуникационные и серверные ресурсы. При этом необходимо оценивать дополнительную нагрузку, вносимую данной подсистемой, чтобы исключить перегрузки и снижение качества обслуживания основных задач.

В связи с этим тематика диссертационной работы, направленная на решение задач, связанных с оценкой нагрузки на телекоммуникационные и вычислительные средства информационной системы при решении задач оценки и обеспечения качества данных, актуальна как на сегодняшний день, так и на достаточно удаленную перспективу.

Целью работы является разработка структуры подсистемы обеспечения качества данных в распределенной информационной системе и создание математических моделей для количественной оценки нагрузки на телекоммуникационную сеть и серверное оборудование информационной системы при решении задач обеспечения полноты и актуальности данных.

Для достижения поставленной цели в работе сформулированы и решены следующие задачи:

• проведен анализ параметров качества данных и методов их оценки и поддержания на заданном уровне;

• разработаны алгоритмы обеспечения полноты и актуальности данных в интегрированной информационной системе;

• разработаны математические модели для расчета показателей полноты и актуальности данных;

• разработана структура подсистемы обеспечения качества данных;

• разработаны математические модели для вычисления необходимых объемов данных для обеспечения заданных значений показателей полноты и актуальности данных и расчета нагрузки на каналы связи и серверы обработки данных подсистемы обеспечения качества данных.

На защиту выносятся:

• алгоритмы обеспечения полноты и актуальности данных в распределенных интегрированных информационных системах;

• комплекс математических моделей для расчета характеристик полноты и актуальности данных;

• комплекс математических моделей для расчета нагрузки на каналы связи и серверы при решении задач обеспечения полноты и актуальности данных для заданной структуры подсистемы обеспечения качества данных.

Научная новизна полученных результатов заключается в разработке математических моделей для комплексной оценки полноты и актуальности данных, ориентированных на конкретные алгоритмы интеграции и поддержания качества и методов оценки нагрузки на телекоммуникационную сеть и серверы обработки данных информационной системы.

Практическая ценность результатов диссертации состоит в создании методов расчета показателей полноты и актуальности данных, позволяющих определять необходимые объемы выборок для достижения заданных значений показателей и связанную с этим нагрузку на каналы связи и серверы информационной системы, что дает возможность обоснованно выдвигать требования к качеству каналов связи и параметрам серверов для обслуживания подсистемы обеспечения качества данных.

Достоверность и обоснованность результатов диссертации обеспечиваются соответствием разработанных алгоритмов и математических моделей. известным теоретическим результатам и практическому опыту по оценке и обеспечению качества данных в информационных системах, применением при разработке моделей современных методов математической статистики и подтверждаются положительными данными об их применении в реальной информационной системе.

Методы исследований. При решении поставленных в диссертации задач применялись методы теории систем, теории вероятностей и математической статистики, теории множеств, математического программирования, а также использовались данные о современных методах создания распределенных интегрированных информационных систем, распределенных баз данных, телекоммуникационных систем.

Реализация и внедрение результатов исследований. Результаты проведенных исследований применялись при исследовании качества данных в системе учета иностранных граждан, а также использовались в учебном процессе в Московском государственном институте электроники и математики и Московской финансово-юридической академии.

Апробация работы: Результаты работы докладывались на отечественных и зарубежных научно-технических конференциях, обсуждались на семинарах в МФЮА, МИЭМ.

Заключение диссертации по теме «Телекоммуникационные системы и компьютерные сети», Забелин, Олег Алексеевич

ОБЩИЕ ВЫВОДЫ

По результатам проведенных исследований и разработок можно сделать следующие заключения и выводы.

1. Проведен анализ современных интегрированных систем, который показал, что одну из решающих ролей в работе системы играет качество данных. Поэтому, при возрастании объемов используемых данных, усилия по обеспечению их качества должны постоянно возрастать.

2. Проведен анализ показателей качества данных используемых в информационных системах, позволивший выделить для исследований два основных показателя: полноту и актуальность данных. Приведены количественные показатели полноты и актуальности, предложены формулы для оценки комплексных затрат, связанных с обеспечением полноты и актуальности данных.

3. Разработаны алгоритмы оценки и обеспечения полноты и актуальности данных при формировании и эксплуатации интегрированной информационной системы. Для данных алгоритмов разработаны математические модели, позволяющие вычислять значения показателей полноты и актуальности, определять параметры алгоритмов для обеспечения заданных значений полноты и актуальности и затрат на их обеспечение.

4. Разработана обобщенная структура распределенной подсистемы обеспечения полноты и актуальности данных. Показано, что система встраивается в ресурсы информационной системы и поэтому создает дополнительную нагрузку на них, что может привести к перегрузке каналов связи и серверов. Поэтому необходимо оценивать дополнительную нагрузку и связанные с ней издержки в работе интегрированной системы.

5. Разработаны математические модели для расчета дополнительной нагрузки на телекоммуникационную систему и северы при решении задач обеспечения полноты и актуальности. Модели позволяют оценить интенсивности потоков дополнительных данных и вызванные этим задержки при передаче основных данных и в работе основных приложений.

6. Разработанные алгоритмы и модели применялись при оценке актуальности АИС Учета иностранных граждан, где позволили определить качество информации, содержащейся в системе.

Результаты диссертационной работы могут быть полезны разработчикам и администраторам интегрированных информационных систем различного назначения.

Список литературы диссертационного исследования кандидат технических наук Забелин, Олег Алексеевич, 2008 год

1. Авен О.И., Гурин H.H., Коган Я.А. Оценка качества и оптимизация вычислительных систем. -М.: Наука, 1982. - 464 с.

2. Айвазян С.А. и др. Прикладная статистика //том 1 Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. - 471с.

3. Альянах И.Н. Моделирование вычислительных систем. JL: Машиностроение, 1988. - 223 с.

4. Андронов A.M., Копытов Е.А., Гринглаз Л.Я. Теория вероятностей и математическая статистика: Учебник для вузов. СПб.: Питер, 2004.

5. Арсеньев Б.П., Яковлев С.А. Интеграция распределенных баз данных. СПб.: Изд-во "Лань", 2001.- 464 с.

6. Атре Ш. Структурный подход к организации баз данных. М.: Финансы и статистика, 1983.

7. Афанасьев В.Н., Фуфлыгин М.Д. Информационные технологии в социально-экономической сфере. М.: МИЭМ, 1998.

8. Балыбердин В.А. Оценка и оптимизация характеристик систем обработки данных. -М.: Радио и связь, 1987. — 176 с.

9. Башарин Г.П., Бочаров П.П., Коган Я.А. Анализ очередей в вычислительных сетях. Теория и методы расчета. М.: Наука, 1989. -336 с.

10. Беляев Ю.К. Вероятностные методы выборочного контроля. М.:1. Наука, 1975.

11. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем.- М.: Финансы и статистика, 1989. 260 с.

12. Бочаров П.П., Печинкин A.B. Теория массового обслуживания: Учебник. М.: Изд-во РУДН, 1995. - 529 с.

13. Бочаров П. П., Печинкин A.B. Теория вероятностей и математическая статистика.- М.: Гардарика, 1998.

14. Божко В.П., Гулидов А.Д., Пряхина Е.В., Хорошилов A.B. Состояние и развитие корпоративной информационно-вычислительной системы Госкомстата России / Под. редакцией Божко В.П. М.: МЭСИ, 2003. -106с.

15. Бронштейн О.И., Духовный И.М. Модели приоритетного обслуживания в информационно-вычислительных системах. М.: Наука, 1976.-220 с.

16. Вендров A.M. CASE-Технологии. Современные методы и средства проектирования информационных систем. М.: Финансы и статистика, 1998. - 176 с.

17. Вишневский В.М. Теоретические основы проектирования компьютерных сетей. — М.: Техносфера, 2003. 512с.

18. Воробьев Е.М. Введение в систему «Математика». М.: Финансы и статистика, 1998. -262 с.

19. Григорьев О.Г. Современные технологии создания корпоративных информационных систем. М.: Европейский центр по качеству, 2003. -180 с.

20. Гуляев Ю.В., Олейников А .Я., Филинов E.H. Развитие и применениеоткрытых систем в Российской Федерации. // Информационные технологии и вычислительные системы. М.:1995. Том 1, N 1, с. 1-12.

21. Дейт К. Введение в системы баз данных. 6-е изд. М.: Диалектика, 1998. - 784 с.

22. Джейсон Причард. Просто и доступно. СОМ и CORBA. Архитектуры, стратегии и реализации. Из-во "Лора", 2001. 372 с.

23. Ивченко Г. И., Левин В.В. Теория вероятностей и ее применения, 23, 1978, №1

24. Ивченко Г.И., Медведев Ю.И. Математическая статистика. М.: Высш. шк., 1984

25. Ивченко Г. И., Тимонина Е. Е,, О некоторых задачах оценивания для выборок из конечной совокупности. Изв. АН УзССР. Сер. физ.-мат. н., 1981, №4, 27-33

26. Ивченко Г. И., Тимонина Е. Е., Об оценивании при выборе из конечной совокупности. Мат. заметки, 1980, № 4, 623-633

27. Информационные системы общего назначения: Аналитический обзор СУБД. М.: Статистика, 1975.-471 с.

28. Кемени Дж., Снелл Дж. Конечные цепи Маркова. М.: Наука, 1970. -272 с.

29. Клейнрок Л. Теория массового обслуживания. Пер. с англ. Под ред. В.И. Неймана. М.: Машиностроение, 1979. -432 с.

30. Клейнрок Л. Вычислительные системы с очередями. Пер. с англ. Под ред. Б.С. Цыбакова.- М.: Мир. 1979. 600 с.

31. Коннолли Т., Бегг К. Базы данных: проектирование, реализация и сопровождение. Теория и практика (3-е издание).- М.: Вильяме, 2003.

32. Концепция Федеральной целевой программы «Развитие информатизации в России на период до 2005 года» http://www.garweb.ru/misc/art/president/president6.htm.

33. Кофман А., Анри-Лабордер А. Методы и модели исследования операций. -М.: Мир, 1977.-432 с.

34. Крейг С. Маллинс Администрирование баз данных. Полное справочное руководство по методам и процедурам. М.: Кудиц-образ, 2003.

35. Кузин А. В., Демин В.М. Разработка баз данных в системе Microsoft Access. -М.: Форум-Инфа-М, 2005.

36. Кульба В.В., Ковалевский С.С., Косяченко С.А., Сиротюк В.О. Теоретические основы проектирования оптимальных структур распределенных баз данных. М.: «Синтег», 1999.

37. Липаев В.В. Выбор и оценивание характеристик качества программных средств. М.: «Синтег», 2001.

38. Липаев В.В. Обеспечение качества программных средств. М.: «Синтег», 2001.

39. Липаев В.В. Направления развития методов и стандартов открытых систем.// Информатика и вычислительная техника. Научно-технический сб. Вып. 1-2. 1995.

40. Мартин Дж. Организация баз данных в вычислительных системах. -М.: Мир, 1980.-664 с.

41. Моисеев H.H., Иванилов Ю.П., Столярова Е.М. Методы оптимизации. М.: Наука, 1978.-352 с.

42. Моисеев H.H. Математические задачи системного анализа. М.: Наука, 1981.-488 с.

43. Николаев В.И., Брук В.М. Системотехника: методы и приложения. -Л.: Машиностроение, 1985. 199 с.

44. Олифер В.Г., Олифер H.A. Компьютерные сети. Принципы, технологии, протоколы. СПб.: Питер, 1999. 672 с.

45. Олифер В.Г., Олифер H.A. Новые технологии и оборудование IPсетей. СПб.: БХВ-Санкт-Петербург, 2000. 512с.

46. Основы построения больших информационно-вычислительных систем. Под ред. Жимерина Д.Г. и Максименко В.И. М.: Статистика, 1976.-296 с.

47. Ретано А., Слайс Д., Уайт Р. Принципы проектирования корпоративных IP-сетей. : Пер. с англ. М.: Изд. дом «Вильяме», 2002.- 368 с.

48. Саати Т.А. Элементы теории массового обслуживания и ее приложения. -М.: Сов. Радио, 1971. 520с.

49. Садовский В.Н. Основания общей теории систем. М.: Наука, 1974. -280 с.

50. Танненбаум Э., М. Ван Стен. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 877 с.

51. Ульман Дж. Основы систем баз данных: Пер. с англ. М.: Финансы и статистика. 1983. - 572 с.

52. Уэлдон Д.-Л. Администрирование баз данных: Пер. с англ. М.: Финансы и статистика. - 1984. - 360 с.

53. Федеральная целевая программа «Электронная Россия 2002-2010 годы» //http//-www. gar web. ru/im s с/art/pres i dent/.

54. Феллер В. Введение в теорию вероятностей и ее применения. В 2-х томах. Пер с англ.- М.: Мир, 1987. Т1-528с. Т2-738 с.

55. Шварц Г. Выборочный метод. -М.: Статистика, 1978.

56. Buretta М. Data Replication: Tools and Techniques for Managing Distributed Information. New York: John Wiley, 1997.

57. Emmeich W. Engineering Distributed Objects. New-York: John Wiley, 2000.

58. Forman I.R. On the design of large distributed systems // Proc. IEEE CS 1986 Int. Conf. on Computer Languages, Miami, FL.-1986.-P.84-95.

59. Ford W. Computer Communications Security Principles, Standard Protocols and Techniques. New Jersey: Prentice-Hall, 1994.

60. James D. McCabe. Practical Computer Network Analysis and Design. Morgan Kaufmann Publishing company, 1998.

61. Lawor E.L., Levitt K.N., Turres I. Module Clustering to Minimize Delay in Digital Network / IEEE Trans. v.EC - 18. - N1 - p.445-451.

62. Oracle. Database Administrator's Guide. Oracle Corp.- 1984.

63. Stallings W. Data and Computer Communications, Fifth Edition. Upper

64. Saddle River, NJ: Prentice Hall, 1997.