Разработка и исследование нечетких моделей динамического упорядочения информационных ресурсов в хранилищах данных с учетом их востребованности потребителями информации тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Тиек Ленг

• Тиек Ленг
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Тиек Ленг

ВВЕДЕНИЕ.

1 АНАЛИЗ ПОДХОДОВ К СОЗДАНИЮ ЭФФЕКТИВНЫХ МЕТОДОВ ХРАНЕНИЯ ИНФОРМАЦИОННЫХ РЕСУРСОВ И ДОСТУПА К НИМ.

1.1 Хранилища данных информационных ресурсов.

1.2 Классификация информационных ресурсов в хранилищах данных.

1.3 Классификация потребителей информации по интересам к информационным ресурсам.

1.4 Упорядочение информационных ресурсов в хранилищах данных.

1.4.1 Виды информационного поиска.

1.4.2 Упорядочение информационных ресурсов на основе индекс-каталогов. Виды индекс-каталогов.

1.5 Выводы.

2 АНАЛИЗ ФАКТОРОВ ИНФОРМАЦИОННЫХ ЗАПРОСОВ, ВЛИЯЮЩИХ НА ТОЧНОСТЬ ПОИСКА.

2.1 Факторы, влияющие на точность поиска.

2.2 Планирование эксперимента.

2.3 Математическая постановка задачи. Функция точности поиска.

2.4 Определение связи точности поиска с числом слов в поисковом запросе

2.5 Анализ процедуры сравнения слов поискового запроса и реквизитов информационного ресурса.

2.6 Выводы.

3 РАЗРАБОТКА НЕЧЕТКОЙ МОДЕЛИ ДИНАМИЧЕСКОГО УПОРЯДОЧЕНИЯ ИНФОРМАЦИОННЫХ РЕСУРСОВ В ИНДЕКС-КАТАЛОГЕ.

3.1 Частотная характеристика информационного ресурса. Функция частоты обращения. Характеристический вектор.

3.2 Разработка нечетких классификаций информационных ресурсов на основе нечеткой частоты востребованности.

3.3 Разработка нечеткой модели групп потребителей на основе интересов к информационным ресурсам хранилища данных.

3.4 Учет интересов потребителей информационных ресурсов в упорядоченности тематического индекс-каталога.

3.5 Выводы.

4 ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ НЕЧЕТКИХ МОДЕЛЕЙ ДИНАМИЧЕСКОГО УПОРЯДОЧЕНИЯ ИНФОРМАЦИОННЫХ РЕСУРСОВ В ИНДЕКС-КАТАЛОГАХ.

4.1 Виды и схема экспериментов.

4.2 Подготовка исходных данных.

4.3 Результаты эксперимента по исследованию точностных характеристик поиска.

4.4 Механизм формирования- запросов к информационным ресурсам и моделирования их востребованности.

4.5 Моделирование динамики упорядочения информационных ресурсов

4.6 Моделирование упорядочения тематического индекс-каталога с учетом интересов потребителей.

4.7 Построение нечеткой классификации информационных ресурсов по шкале востребованности.

4.8 Управление содержимым хранилища данных.

4.9 Выводы.

Введение диссертации (часть автореферата) на тему «Разработка и исследование нечетких моделей динамического упорядочения информационных ресурсов в хранилищах данных с учетом их востребованности потребителями информации»

Актуальность темы

В настоящее время в связи с развитием глобальных информационных коммуникаций все большее значение приобретает доступ к информационным ресурсам, представленным в электронном виде. В связи с этим появляется острая необходимость создания различного рода электронных информационных хранилищ данных [1], которые обладали бы свойствами адаптации к запросам потребителей и подстраивались под их потребности. Это может быть достигнуто, если в хранилищах предусмотрены механизмы адаптации и динамического упорядочения информационных ресурсов.

Следует отметить, что сегодня разработка электронных хранилищ информационных ресурсов, в которых предусматриваются все выше названые функции, является сложной и до конца не решенной задачей, а ее исследованию посвящен ряд научных работ. Так, этой проблемой занимался ряд авторитетных исследователей, которые внесли существенный вклад в развитие данной области. Среди них следует отметить работы: Уильям Инмон (Liam Inmon) [1618], Дуглас Хэкни (Douglas Hackney) [19], Доринн Хосс (Dorinny Hoss) [20]. Так же идея сведения разрозненных информационных ресурсов в Интернете в единое пространство хранилища данных развивается в работах [11—13,33, 117]. При рассмотрении специфических областей знаний кроме того можно четко выделить ориентацию на интеллектуализацию хранилищ данных, что представлено в работах [2, 3, 14, 15, 32, 37, 66], в которых рассматриваются вопросы каталогизации и анализа информационных ресурсов для определенных предметных областей. Усиленно интерес данной проблематике подогревают известные в IT области организации, которые проявляются повышенный практический интерес к научным результатам. Эта такие известные фирмы и корпорации, как IBM [21], Oracle [22], Hewlett Packard [23], SAS Institute [24], Software AG [25], Sybase [26, 27] и др.

Однако следует отметить, что общее решение данной проблемы и сегодня далеко от своего окончательного завершения. Данное обстоятельство послужило основанием для формулировки темы настоящего диссертационного исследования, которое направлено на реализацию адаптационных механизмов хранилищ информационных ресурсов к потребностям потребителей информации путем динамического переупорядочения индекс-каталогов. Следует указать, что задачей кластеризации потребителей по их интересам с точки зрения управления сервисами информационных систем посвящены ряд работ, среди которых следует отметить [123-132]. Однако, в данных работах не затронуты вопросы организации индекс-каталогов, как механизмов настройки хранилища информационных ресурсов на максимальное удовлетворение потребностей потребителей.

Объект исследование

Нечеткие модели динамического упорядочения информационных ресурсов в хранилищах данных с учетом их востребованности потребителями информации.

Цель диссертационного исследования

Разработка и исследование нечетких моделей динамического упорядочения информационных ресурсов в хранилищах данных с учетом их востребованности потребителями информации.

Для достижения поставленной цели в диссертации решаются следующие основные задачи:

1. Провести сравнительный анализ эффективности известных подходов к хранению информационных ресурсов и доступу к ним, а также провести исследование факторов информационных запросов, влияющих на качество поиска информационных ресурсов в хранилищах данных.

2. Исследовать частотные характеристики востребованности информационных ресурсов хранилища данных и изучить вопросы использования данных частотных характеристик в качестве параметров востребованности информационных ресурсов со стороны потребителей информации.

3. Разработать нечеткую классификацию информационных ресурсов на основе их востребованности потребителями информации, нечеткую модель группы потребителей на основе их интересов к информационным ресурсам и модель учета интересов потребителей информационных ресурсов в упорядочении индекс-каталогов.

4. Провести экспериментальное исследование основных теоретических положений диссертационного исследования.

Основные научные результаты

1. На основе сравнительного анализа известных подходов к хранению информационных ресурсов и доступу к ним, а так же анализа факторов информационных запросов, влияющих на качество поиска информации в хранилищах данных, показано, что учет интересов потребителей может существенно повысить качество выдачи информационных ресурсов.

2. Предложено использовать частотную характеристику информационного ресурса в качестве характеристики его востребованности со стороны потребителей информации и на ее основе проводить динамическое упорядочение индекс-каталогов.

3. Разработаны нечеткая классификация информационных ресурсов на основе их востребованности потребителями информации, нечеткая модель группы потребителей на основе их интересов к информационным ресурсам и модель учета интересов потребителей информационных ресурсов в упорядочении индекс-каталогов, которые совместно реализуют механизм эффективного доступа к информационным ресурсам хранилища данных, учитывающий их востребованность со стороны потребителей информации.

4. Проведено экспериментальное исследование основных теоретических положений диссертации, для которого разработана математическая модель представления запросов потребителей информации и построен моделирующий программный комплекс, результаты проведенных экспериментов на котором подтвердили основные теоретические положения.

Основные положения, выносимые на защиту

1. Нечеткая частотная характеристика информационного ресурса, которая представляет его востребованность со стороны потребителей информации и используется для динамического упорядочения индекс-каталогов.

2. Нечеткие классификации информационных ресурсов на основе их востребованности потребителями информации, нечеткая модель группы потребителей на основе их интересов к информационным ресурсам и модель учета интересов потребителей информационных ресурсов в упорядочении индекс-каталогов, которые совместно образуют механизм эффективного доступа к информационным ресурсам хранилища данных, учитывающий их востребованность со стороны потребителей информации.

Методы диссертационного исследования

При выполнении данной работы использовались: нечеткая математика, комбинаторика, теория информационных систем, методы классификации, информационного поиска, а также методы обработки результатов экспериментов.

Практическая ценность результатов диссертационной работы состоит в том, что разработанные нечеткие модели динамического упорядочения информационных ресурсов в хранилищах данных с учетом их востребованности потребителями информации позволяют реализовать механизм эффективного доступа разных категорий потребителей к информационным ресурсам с учетом их интересов, который может быть использован в электронных хранилищах информационных ресурсов различного назначения.

Практическая значимость диссертации подтверждается актами о внедрении результатов исследования в рамках госбюджетных научно-исследовательских работ и в учебном процессе по дисциплине "Организация электронных архивов данных" магистерской программы "Интеллектуальные системы" по направлению 230100 "Информатика и вычислительная техника" факультета автоматики и вычислительной техники Таганрогского технологического института Южного федерального университета.

Разработанный механизм доступа к информационным ресурсам хранилища данных, учитывающий интересы потребителей информации, был реализован программно и использован при разработке электронной библиотеки международной лаборатории ELDTC, а также использован в научных исследованиях факультета автоматики и вычислительной техники Таганрогского технологического института Южного федерального университета.

Апробация работы

Результаты работы докладывались и обсуждались на научно-практических конференциях:

• VII Всероссийской научной конференции студентов и аспирантов "Техническая кибернетика, радиоэлектроника и системы управления" (Таганрог, ТРТУ, 2006г.).

• VIII Всероссийской научной конференции молодых ученых, студентов и аспирантов "Техническая кибернетика, радиоэлектроника и системы управления (КРЭС'06)" (Таганрог, ТРТУ, 2006г);

• IV Всероссийской научной конференции молодых ученых, аспирантов и студентов "Техническая кибернетика, радиоэлектроника и системы управления" (Таганрог, ТРТУ, 2006г.).

• Всероссийская научная школа-семинар студентов, аспирантов и молодых ученых "Интеллектуализация информационного поиска, скантехнологии и электронные библиотеки" (Таганрог, ТТИ ЮФУ, 2007г.).

• Всероссийская научная школа-семинар студентов, аспирантов и молодых ученых "Интеллектуализация информационного поиска, скантехнологии и электронные библиотеки" (Таганрог, ТТИ ЮФУ, 2008).

• V Всероссийской конференции студентов, аспирантов и молодых ученых Технологии Microsoft в теории и практике программирования "Южный регион", "Таганрог, 13-14 марта 2008г.".

• VI Всероссийской научной конференции молодых ученых, аспирантов и студентов "Информационные технологии, системы анализ и управление" (Таганрог, ТТИ ЮФУ, 04-05 декабря 2008г).

• Всероссийская научная школа-семинар молодых ученых, аспирантов и студентов "Интеллектуализация информационного поиска, скантехнологии и электронные библиотеки" (Таганрог, ТТИ ЮФУ, 2009г.).

Публикации автора по теме диссертации. По теме диссертации автором опубликовано 13 печатных работ, в которых отражены основные результаты диссертации, в том числе одна статья в издании из списка, рекомендованного ВАК РФ.

Структура и объем работы. Материал основной части работы изложен на 144 страницах машинописного текста. Работа состоит из введения, четырех разделов, заключения и списка литературы из 132 наименований, содержит 53 рисунки, 31 таблицу и 2 приложения на 20 страницах.

Заключение диссертации по теме «Теоретические основы информатики», Тиек Ленг

4.9 Выводы

Таким образом, в разделе приводятся результаты экспериментальных исследований основных теоретических положений диссертации, которые были проведены на специально разработанном для этого программном комплексе и сформированном пакете информационных ресурсов, который составил основное содержание хранилища данных. По информационным ресурсам, включенным в хранилище данных, построены вручную тематические выборки, которые собраны в экспериментальный индекс-каталог, а также сформированы кластеры потребителей информации и промоделированы их обращения к индекс-каталогам хранилища данных.

Для формирования запросов к информационным ресурсам и управления их востребованностью разработана математическая модель и соответствующий программный механизм, который основывается на генераторе случайных чисел, равномерно распределенных на отрезке [0,1] и шкалы моделирования востребованности. Данная востребованность регулируется длиной соответствующего отрезка шкалы, а сама шкала построена по аддитивному принципу, в ней заложена способность управления ее неравномерностью с помощью задания значения коэффициента различения отрезков. Данная схема распространена на комплексное моделирование интересов всех потребителей информационных ресурсов.

Полученные результаты моделирования полностью подтвердили основные теоретические положения диссертационного исследования.

ЗАКЛЮЧЕНИЕ

Итак, в настоящее время доступ к информационным ресурсам, представленным в электронном виде, является одним из самых востребованных сервисов в области информационных систем. В связи с этим появляется острая необходимость в создании различного рода электронных информационных хранилищ данных, которые обладали бы свойствами адаптации к запросам потребителей и подстраивались под их потребности.

В настоящей диссертационной работе развиты нечеткие модели динамического упорядочения информационных ресурсов в хранилищах данных с учетом их востребованности потребителей информации. В рамках данного исследования:

1. Проведен сравнительный анализ эффективности известных подходов к хранению и доступу информационных ресурсов, а так же влияния факторов информационных запросов на качество поиска информации в хранилищах данных и показано, что учет интересов потребителей может существенно повысить эффективность выдачи предоставляемых потребителям информационных ресурсов.

2. Исследованы предельные возможности поиска по индекс-каталогу, связанные с размерами длин сравниваемых частей слов в поисковом запросе и информационных ресурсах. Показано, что увеличение длины сравнения наталкивается на необходимость учета морфологических особенностей грамматики языка.

3. Предложено частотную характеристику информационного ресурса использовать в качестве параметра его востребованности потребителями информации и на ее основе проводить динамическое упорядочение индекс-каталогов.

4. Сформирована функция частоты обращения к информационному ресурсу индекс-каталога и построено ее нормализованное представление, которое положено в основу характеристические востребованности информационного ресурса.

5. Для представления частотной характеристики информационного ресурса введен характеристический вектор, который отражает текущее состояние обращения к информационному ресурсу, а все характеристические вектора предложено объединить в характеристическую таблицу, которая отражает востребованность информационных ресурсов конкретного индекс-каталога потребителя.

6. Для частотной классификации информационного ресурса построена нечеткая модель его востребованности в виде лингвистической переменной «частота обращения к информационному ресурсу».

7. Сформирована нечеткая модель групп потребителей по их интересам к информационным ресурсам.

8. Разработана нечеткая модель учета интересов потребителей информационных ресурсов и показано, каким образом учитывать интересы разных групп потребителей информационных ресурсов при формировании веса каждого информационного ресурса в индекс-каталоге потребителя и тематическом индекс-каталоге.

9. Проведено экспериментальное исследование основных теоретических положений диссертации, для которого разработана математическая модель представления запросов потребителей информации и построен моделирующий программный комплекс, подтверждающее основные теоретические положения.

Таким образом, использование полученных в диссертации научных результатов позволит реализовать в хранилищах информационных ресурсов механизмы их адаптации к потребностям потребителей информации и тем самым повысить эффективность обслуживания потребителей.

Список литературы диссертационного исследования кандидат технических наук Тиек Ленг, 2011 год

1. Солтон Дж. Динамические библиотечно-информационные системы. — М.: Мир, 1979 г.,-560 с.

2. Виджей Сэрадхи (Vijay Saradhi). «Основные характеристики современного Хранилища данных. Часть 1. Критика традиционных ХД» (Essential Characteristics of a Modern Data Warehouse, Part 1: Critical Issues with a Conventional Data Warehouse), Июнь 2007 г.

3. Виджей Сэрадхи (Vijay Saradhi) «Основные характеристики современного Хранилища данных. Часть 2. Фундаментальные возможности» (Essential Characteristics of a Modern Data Warehouse, Part 2: Foundation Features), Июнь 2007 г.

4. Карташееа E. Интеллектуальные поисковые системы Excalibur. // Журнал Сети №06, 1997 г.

5. Тиек Ленг. Теоретическое построение интеллектуальной системы поиска в хранилище данных, текст. // Известия ЮФУ. Технические науки. Тематический выпуск «Интеллектуальный САПР». Таганрог: Изд-во ТТИ ЮФУ, № 2 (77), 2007 г., - с 116 -119.

6. Doug Tidwell, James Snell, Pavel Kulchenko. Programming Web Services with SOAP / Publisher: O'Rielly. First Edition December 2001. ISBN: 0596-0095-2, 216 pages.

7. Печников В.EI. Создание Web-сайтов без посторонней помощи. — М.: Изд-во Триумф, 2006 г., 464 с.

8. Спека М.В. Создание Web-сайтов. Самоучитель. — М.: Изд-во диалектика серия самоучитель, 2007 г., — 288 с.

9. Александров M. Смысловой поиск в Internet, текс. // Журнал Internet №19, 2000 г. [http://www.kv.by/index200019060l.htm]

10. Gudivada V.N., Raghavan V.V. Information Retrieval on the World Wide Web. text. // IEEE Internet Computing. 1997. V.l. N. 5. P. 58-68.

11. Лобачев С.Л., Попов А.Э., Семенихин И.IL Интернет-технологии в дистанционном и открытом образовании, текст. // Educational Technology & Society 4(2) 2001 ISSN 1436-4522 pp. 194-204.

12. Уильям Инмон (Liam Inmon). Типы хранилищ данных, текст. // Журнал Клуба знатоков DWH, OLAP, XML, №17, 2001г. [http://www.iso.ru/journal/articles/l 81 .html]

13. Уильям Инмон (Liam Inmon). Многочисленные Хранилища данных в одной компании, текст. // Журнал Клуба знатоков DWH, OLAP, XML, №17, 2001г. [http://www.iso.ru/iournal/articles/185.html]

14. Уильям Инмон (Liam Inmon). Обоснование Хранилища данных, текст. // Журнал Клуба знатоков DWH, OLAP, XML, №17, 2001 г. [http://www.iso.ru/journal/articles/182.html]

15. Дуглас Хэкни (Douglas Hackney). Успешное Хранилище данных: архитектурные решения, текст. // Журнал Клуба знатоков DWH, OLAP, XML, №17, 2001г. [http://www.iso.ru/iournal/articles/184.html]

16. Доринн Хосс (Dorinny Hoss). Десять основных тенденций в области Хранилищ данных, текст. // Журнал Клуба знатоков DWH, OLAP, XML, №17, 2001. [http://www.iso.ru/journal/articles/183 .html]

17. Дубова H. Динамическое хранилище данных, текст. // Журнал Открытые системы №5, 2007г. [http://www.osp.rU/os/2007/05/4259987/l22. http://www.oracle.com/ru

18. HP Oracle Exadata Storage Server — оптимизированная платформа для Oracle BI-хранилищ данных, текст. // Журнал «Storage News». rhttp://citforum.ru/database/oracle/exadata/l24. http://www.sas.com/

19. Цуприков С. Методология Sybase для создания хранилищ и витрин данных. текст. // Жунал КомпьютерПресс №3, 1999 г. lhttp://www.interface.ru/fset.asp?Url=/sybase/msy.htm]

20. Тиек Ленг. Усовершенствование научно-технического портала для развития научных электронных библиотек. текст. // VIII

21. Всероссийской научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления».- Таганрог: ТРТУ, 2006 г., с 245.

22. Кришнамурти Б., Рексфорд Дж. Web-протоколы Теория и практика. — М.: ЗАО «Издательство БИНОМ» 2002 г., 592 с.

23. Гуруге А. Корпоративные порталы на основе XML и Web-служб // Пер. с англ. -М.: КУДИЦ-ОБРАЗ, 2004 г., -380 с.

24. Тиек Ленг. Использование структурного подхода при разработке систем интеграции информационных ресурсов. // Известия ЮФУ. Технические науки. Тематический выпуск «Интеллектуальный САПР». — Таганрог: Изд-во ТТИ ЮФУ, № 9 (86), 2008 г.,- с 171-175. ■ 1

25. Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных ИС. Ростов-на-Дону: Изд-во РГУ, 1999г.

26. Смирнов Н.В. «Курс теории вероятностей и математической статистики для технических приложений», 1969 г., 512 с.

27. Колмогоров А.Н., Фомин C.B. Элементы теории функций и функционального анализа. — М.: Наука, 1989 г., 544 с.

28. Аверкин А.IT., Батыршин И.З., Блишун А.Ф. и др. Нечеткие множества в моделях управления и искусственного интеллекта // Под ред. Д.А. Поспелова. -М.: Наука, 1986 г., 312 с.

29. Воройский Ф.С. Информатика. Новый систематизированные толковый словарь-справочник (Введение в современные информационные и телекоммуникационные технологии в терминах и фактах). М.: Физматлит, 2003 г., — 760 с.

30. Мелихов А.Н. Берштейн JI.C. Коровин С.Я. Ситуационные советующие системы с нечеткой логикой. М.: Наука. Гл. ред. Физ.-мат.лит., 1990 г., - 272 е., - ISBN 5-02-0141445.

31. Мандел Т. Разработка пользовательского интерфейса. — Пер. с англ. — М.: LVR Пресс, 2001 г.,-416 с. ил.

32. Илья Волков, Илья Галахов. Архитектура современной информационно-аналитической системы, текст. // Журнал "Директор ИС" №3, 2002 г. [http://citforum.ru/consulting/BI/ias/]

33. Adamson, С., Venerable, М. Data Warehouse Design Solutions. II John Wiley & Sons, Inc (1998). ISBN 047125195X.

34. Devlin, B. Data warehouse: from architecture to implementation. // Addison Wesley Longman, Inc. (1997). ISBN 0201964252.

35. Илья Шабаев, Павел Кириллов. Загрузка и согласование данных при построении хранилищ данных, текст. // Журнал открытые системы №11, 2000 г. [http://www.osp.ru/os/2000/ll/178324/]

36. Макарова Н.В. Система классификации. текст. // Учебник "Информатика", 2010 г. [http://high-info.ru/Sistema klassifikatsii.htm]45. http://ru.wikipedia.org

37. Заде Л. А. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976 г., - 168 с

38. Кнут Д.Э. Искусство программирования, том 3. // Сортировки и поиск. М.: Изд. «Вильяме», 2003 г., - 832 с.

39. Черный А.И. Введение в теорию информационного поиска. М.: Наука, 1975 г.,-235 с.

40. Андриенко Е.В. Концепции поиска адекватной информации в полнотекстовых базах данных. // Перспективные информационные технологии и интеллектуальные системы. — Таганрог: Изд-во ТРТУ, №3, 2003 г.,-с. 68-72.

41. Андриенко Е.В. Методы хранения сложных структур при поиске релевантной информации. Новые информационные технологии. // Разработка и аспекты применения. // VI Всероссийской научной конференции с международным участием. - Таганрог, 2003 г., — с. 7578.

42. Кононенко Р.И. Разработка методов и алгоритмов мультиагентного поиска в информационных средах гипертекстовой организации. — Дисс. К.т.н., Таганрог: ТРТУ, 2000 г.

43. Ланкастер Ф.У. Информационно-поисковые системы. // Пер. с англ. — М.: Мир, 1972 г.,-308 с.

44. Павел Храмцов. Информационно-поисковые системы Internet. // Журнал открытые системы №3 , 1996 г. http://www.osp.rU/os/1996/03/178885/l

45. Поспелов Д. А. Ситуационное управление. // Теория и практика. — М.: Наука, 1986 г.,-288 с.

46. Аграновский А. В., Арутюнян Р. Э. Индексация массивов документов. — Мир ПК, №06, 2003 г.

47. Raghavan V., Wong S.K.M. A Critical Analysis of Vector Space Model for Information Retrieval // J. Am. Soc. Information Science. — 1986. V. 37. N.5. P. 279-287.

48. Acau К., Ватада Д., Иваи См др. Прикладные нечеткие системы. // Пер. с япон.; Под. Ред. Т. Тэрано, К.Асаи, М.Сугэно. — М.: Мир, 1993г. -368 с.

49. Zadeh L.A. Fuzzy Sets // Information and Control. 1965. V. 8. P. 338-353.60