Модели и процедуры построения программ- агентов для формирования семантической сети тема диссертации и автореферата по ВАК РФ 08.00.13, кандидат экономических наук Хмельницкий, Николай Георгиевич

• Хмельницкий, Николай Георгиевич
• кандидат экономических наук
• 2004

Оглавление диссертации кандидат экономических наук Хмельницкий, Николай Георгиевич

ВВЕДЕНИЕ

1 ПРОБЛЕМА ПОИСКА И АНАЛИТИЧЕСКОЙ ОБРАБОТКИ ИНФОРМАЦИИ.

1.1 Постановка задачи.

1.1.1 Исходные данные и предпосылки.

1.1.2 Цель работы.

1.2 Анализ предметной области.

1.2.1 Развитие распределенных информационных сетей.

1.2.2 Классификация информационно — поисковых систем.

1.2.3 Перспективы развития поисковых систем.

1.2.4 Информационные потребности пользователя.

1.2.5 Выводы по разделу.

1.3 Статистические методы обработки текстовой информации.

1.3.1 Частотные характеристики.

1.3.2 Весовые коэффициенты.

1.3.3 Индексирование.

1.3.4 Выводы по разделу.

1.4 Методы и модели представления и обработки знаний.

1.4.1 Модели морфологии естественного языка.

1.4.2 Модели описания синтаксиса.

1.4.3 Модели представления семантики.

1.4.4 Технологии распознавания образов.

1.4.5 Выводы по разделу.

1.5 Выводы по Главе 1.

2 ИНТЕЛЛЕКТУАЛЬНЫЙ АГЕНТ ПОИСКА ИНФОРМАЦИИ

2.1 Конкретизация поставленной задачи.

2.1.1 Предмет и объект исследования.

2.1.2 Методы исследования.

2.1.3 Научная новизна, результаты и положения, выносимые на защиту.

2.1.4 Направления применения, практическая ценность работы.

2.2 Концепция интеллектуального агента поиска информации.

2.2.1 Структура агента.

2.3 Модель пользователя.

2.3.1 Вход модели пользователя.

2.3.2 Формализация модели пользователя.

2.3.3 Процедуры модели пользователя.

2.3.4 Выход модели пользователя.

2.3.5 Выводы по разделу.

2.4 Модель постановщика задач.

2.4.1 Вход модели постановщика задач.

2.4.2 Формализация модели постановщика задач.

2.4.3 Процедуры модели постановщика задач.

2.4.4 Выход модели постановщика задач.

2.4.5 Выводы по разделу.

2.5 Модель внешней среды.

2.5.1 Вход модели внешней среды.

2.5.2 Формализация модели внешней среды.

2.5.3 Процедуры модели внешней среды.

2.5.4 Выход модели внешней среды.

2.5.5 Выводы по разделу.

2.6 Модель предметной области.

2.6.1 Вход модели предметной области.

2.6.2 Формализация модели предметной области.

2.6.3 Процедуры модели предметной области.

2.6.4 Выход модели предметной области.

2.6.5 Выводы по разделу.

2.7 Модель блока аналитической обработки.

2.7.1 Вход модели блока аналитической обработки.

2.7.2 Формализация модели блока аналитической обработки.

2.7.3 Процедуры модели блока аналитической обработки.

2.7.4 Выход модели блока аналитической обработки.

2.7.5 Выводы по разделу.

2.8 Эффективность деятельности агента.

2.8.1 Формализация требований эффективности агента.

2.8.2 Выводы по разделу.

2.9 Выводы по главе 2.

3 ПРАКТИЧЕСКИЕ АСПЕКТЫ ПОСТРОЕНИЯ АГЕНТА

3.1 Процедуры модели пользователя.

3.1.1 Формирование и корректировка модели пользователя.

3.2 Процедуры модели постановщика задач.

3.2.1 Автономное формирование запроса.

3.2.2 Обработка и расширение запроса пользователя.

3.2.3 Планирование реализации запросов во внешней среде.

3.3 Процедуры модели внешней среды.

3.3.1 Обработка запроса агента- исполнителя.

3.3.2 Расширение модели внешней среды.

3.3.3 Оценка поисковой системы.

3.4 Процедуры модели предметной области.

3.4.1 Формирование и корректировка модели предметной области.

3.4.2 Поиск и представление информации пользователю.

3.5 Процедуры модели блока аналитической обработки.Т7.ТГ.

3.6 Выводы по главе 3.

Введение диссертации (часть автореферата) на тему «Модели и процедуры построения программ- агентов для формирования семантической сети»

Начиная с 80-х годов предыдущего столетия, началось и продолжается сегодня активное развитие распределенных информационных сетей. Наиболее известной из таких сетей является сеть Интернет. Глава Федерального агентства связи РФ Дмитрий Милованцев заявил, что количество пользователей сети Интернет в России к концу 2004 года достигнет 15 миллионов человек.1 Достижение этой цифры будет обеспечено в первую очередь путем включения услуги доступа к сети Интернет в состав универсальных услуг связи, то есть услуг, которые согласно приоритетам развития телекоммуникационной отрасли государства, должны быть обеспечены для жителей всех населенных пунктов. В этих условиях особенно актуальной становится задача эффективного использования информационного пространства сети, решение которой позволит оправдать финансовые вложения государства в обеспечение населения данной услугой связи.

Простота построения сети, ее развитие и расширение за счет подключения новых пользователей предоставляет множество возможностей: обмен пользователей сообщениями, проведение конференций, но самое главное — неограниченные информационные ресурсы сети.

На сегодняшний день информация воспринимается как стратегический ресурс для персонального развития, развития бизнеса компании, эффективного функционирования государства. Все чаще экономические аспекты информационного бума: стоимость сбора, извлечения, преобразования, анализа информации выходят на первый план. В тоже время и развитые коммуникационные технологии, и различные информационные системы на сегодня не в состоянии полностью обеспечить информационные потребности пользователя, не укладывающиеся в структуру стандартных запросов, не говоря уж о предупреждающем выявлении данных потребностей и их удовлетворении.

На фоне того, что доля неструктурированных данных в современных электронных хранилищах составляет более 80%2, текущий этап развития современных информационных технологий не предлагает адекватных инструментов поиска и структурирования информации. Экономические последствия подобного состояния дел в условиях высокой стоимости ресурсов представляются очевидными. Решение информационно-справочных и аналитических задач в интересах конечного потребителя в рамках описанной проблемы требует применения новых методов управления неструктурированной информацией распределенных информационных сетей.

Целью настоящей работы является разработка моделей и процедур построения системы поиска, способной предложить современному пользователю инструмент поиска и обработки информации в распределенных информационных сетях.

В соответствии с поставленной целью реализуются следующие этапы исследования: проводится анализ проблемной области, классификация и критическая оценка механизмов организации и функционирования существующих информационно- поисковых систем, выявляются достоинства и недостатки методов решения проблемы, 7 оценка тенденций дальнейшего развития поисковых систем, распределенной информационной среды и информационных предпочтений пользователя. На основе проведенного анализа определяются подход к организации поисковой системы, требования к ее функциональности и структуре. Затем осуществляется построение и формализация подмоделей, входящих в состав поисковой системы, формулируются процедуры взаимодействия компонент, рассматриваются практические примеры.

Таким образом, предметом исследования является технологии поиска и обработки неструктурированной информации в распределенных сетях, объектом исследования выступают системы, действующие в целях удовлетворения информационных потребностей пользователя в распределенной информационной среде.

Данная проблема в последнее время является предметом многочисленных исследований коммерческих и научных организаций различных стран. В тоже время, вопросы, связанные с поиском и обработкой информации в распределенных информационных сетях фактически не освещены в литературе. Представляются вероятными несколько причин такой ситуации: во-первых, как уже отмечалось, российские государственные, коммерческие и научные организации только начинают осознавать важность этого вопроса, поэтому в отечественных публикациях не прослеживаются четкое видение и разработка проблемной области. Во-вторых, спектр рассматриваемых задач находится на пересечении нескольких научных направлений: существуют работы по экономике, лингвистике, теории агентных систем, организации и обработки данных и знаний, теории "раскопок данных и текста" (Data Mining, Text Mining), с разных сторон освещающие проблему поиска и обработки информации в распределенных сетях, но при этом отсутствуют исследования, синтезирующие все эти разработки.

Предлагаемая работа носит исследовательский характер и состоит из трех частей. В первой главе дается краткое описание развития распределенных информационных сетей, анализируются существующие классы информационно - поисковых систем, обсуждаются перспективы их дальнейшего развития. Делается вывод о необходимости разработки структуры поисковой системы на основе агентного подхода, учитывающего тенденции в развитии информационных потребностей пользователя. Рассмотрение и анализ методов обработки текстовой информации, методов и моделей представления и обработки знаний позволило определить целесообразность применения конкретных научных и практических разработок в системе агента, обосновать выбор аппарата неоднородных семантических сетей как основы для построения модели знаний.

Вторая глава включает в себя анализ требований функциональности, предъявляемых к интеллектуальному агенту поиска информации, определение необходимых структурных компонент, организации и общего алгоритма работы агента. Проводится формализация, определяются входные и выходные параметры, процедуры взаимодействия каждой модели в системе агента: модель пользователя, модель постановщика задач, модель внешней среды, модель предметной области, модель блока аналитической обработки. Дается математическая постановка задачи эффективности деятельности агента.

В третьей главе приводятся примеры практического использования разработанных моделей и процедур. Наконец, в заключении делаются выводы о полученных результатах и указываются перспективные направления исследований.

По теме исследования опубликовано 6 печатных работ [3,4, 5,6, 7,

Заключение диссертации по теме «Математические и инструментальные методы экономики», Хмельницкий, Николай Георгиевич

3.6 Выводы по главе 3

Безусловно, представленный комплекс процедур не является всеобъемлющим и может быть существенно расширен. В работе рассмотрены ключевые процедуры взаимодействия моделей агента, на примерах проиллюстрированы возможность практической реализации данных процедур.

• Для модели пользователя приведен пример формирования и корректировки модели пользователя.

• Для модели постановщика задач рассмотрены процедуры автономного формирования запроса, обработки и расширения запроса пользователя, планирование реализации запросов во внешней среде.

• В рамках процедур модели внешней среды приведены примеры обработки запроса агента - исполнителя, расширения модели внешней среды, алгоритм оценки внешней поисковой системы.

• Практическая реализация процедур модели предметной области представлена примерами процедур формирования и корректировки модели предметной области, алгоритмом поиска и возможными вариантами представления информации пользователю.

• Модель блока аналитической обработки является компонентом агента, допускающим помимо основного предназначения, различные другие направления практического применения (реферирование документов, тематическая обработка документов, формирование семантической сети по отдельной теме в коллекции документов, классификация документов).

Заключение

Рассмотрение и анализ существующих классов информационно — поисковых систем показал, что ряд классов систем является бесперспективным для поиска информации в распределенных информационных сетях. К этому заключению можно прийти на основе того, что логика организации данных поисковых систем изначально содержит ряд противоречий:

• В основе построения индексов и тематических каталогов лежит классификатор предметной области. Классификатор является элементом, ограничивающим гибкость данного класса поисковых систем и содержащим противоречия в классификации (классификация на основе мета- понятий либо применение ручной классификации с привлечением экспертов и наложение ограничений на документы коллекции).

• Глобальные информационно — поисковые системы сети Интернет работают с огромным объемом обрабатываемой информации и существенным количеством пользователей. Свойство глобальности предполагает применение наиболее простых алгоритмов поиска и отрицает возможность индивидуализации работы пользователя.

• Локальные системы анализа документов применяют методы математической лингвистики, различные эвристические процедуры, статистические методы. Данные системы способны провести глубокую смысловую обработку локальных документов и не предназначены для поиска информации в распределенных сетях.

Анализ тенденций в развитии требований, предъявляемых современным пользователем к средствам поиска информации, показал необходимость акцента на следующих аспектах информационного поиска: индивидуализация работы, предупреждение информационных потребностей, наглядность представления результатов. С учетом проведенного анализа классов поисковых систем и информационных предпочтений пользователя в качестве наиболее перспективного определен подход к организации системы поиска информации в распределенных сетях основанный на применении агентных технологий, а как способ организации и представление информационных материалов - представление на семантической сети.

Для обработки текстовых документов, выявления и представления их смыслового содержания применимы как методы, основанные на статистических показателях, так и аналитические методы и модели представления и обработки знаний:

• Нет достаточных оснований для отказа от использования понятий "ключевое слово" на основе частотных критериев важности. Поскольку, как минимум, эти методы дают возможность установления некоторых общих характеристик текстов, некоторое числовое представление.

• В практической реализации целесообразно применение компонент подсистемы, обеспечивающих морфологический анализ, синтаксический и семантический анализ, при этом ведущая роль должна быть отведена семантике.

• Для представления объектов и взаимосвязей приемлемы графовые структуры, аппарат неоднородных семантических сетей может быть определен как наиболее универсальный и адекватный способ представления неструктурированных знаний текстов документов. В рамках настоящего исследования был определен и обосновав способ организации поисковой системы на основе агентного подхода, в качестве способа формального представления знаний выбран аппарат неоднородных семантических сетей, в общем виде построен алгоритм

127 работы интеллектуального агента. На основе функциональных требований определены необходимые структурные компоненты агента и процедуры взаимодействия между ними.

Сформирована концепция интеллектуального агента, учитывающая и расширяющая достоинства поисковых систем Интернет, агентов мета - поиска и локальных систем анализа документов, предложена структура и необходимые составляющие модели структурных компонентов:

• Применение модели пользователя в системе интеллектуального агента поиска информации позволяет решить проблему многозначности, представить систему классификации информационных предпочтений пользователя в формализованном виде. Предложенные методы управления и графического представления модели предпочтений, позволяют адекватно и наглядно отобразить базу знаний семантической сети, информационные предпочтения пользователя.

• В рамках реализации модели постановщика задач введены элементы мульти- агентных систем. Планировщик задач определен как агент — менеджер, управляющий агентами-исполнителями. В основу управления агентами- исполнителями заложен принцип эффективности удовлетворения информационных предпочтений пользователя. Определена система предупреждающего поиска, механизм реализации запроса пользователя, инструменты управления процессом поиска с целью сужения или расширения области поиска.

• Система представления знаний агента о внешнем мире реализована на основе модели внешней среды. Основные процедуры, входы и выходы определены указанием их местоположения в системе агента, без привязки к конкретным форматам представления внешних источников.

128

• Результатом работы агента для пользователя является представление модели предметной области в качестве взаимосвязанной системы понятий со ссылками на соответствующие документы, информационное наполнение интересующей пользователя проблемы или ситуации. Построение графа семантической сети документа позволяет эксплицировать основные элементы смысла текста, коллекции документов.

Для формализованных моделей и процедур взаимодействия компонент интеллектуального агента поиска информации рассмотрены ключевые процедуры взаимодействия подмоделей агента, на примерах проиллюстрировали возможность практической реализации данных процедур.

Необходимость совершенствования средств и методов поиска и обработки информации в распределенных информационных сетях не вызывает сомнений. Проведенное научное исследование предлагает достаточно эффективный концептуальный и модельный инструментарий для построения интеллектуального поискового агента. Дальнейшие исследования в данном направлении представляются достаточно перспективными в контексте совершенствования внутренней для агента системы управления знаниями о предметной области и предпочтениях пользователя, обеспечения эффективности процедур поиска и обработки информации в целом.

Список литературы диссертационного исследования кандидат экономических наук Хмельницкий, Николай Георгиевич, 2004 год

1. В сеть попадет еще один миллион // Интернет-журнал Prognosis.Ru: http://www.prognosis.rU/news/societv/2004/4/l 4/internet users.html (2004. 14 апр.)

2. Карташева Елена. Интеллектуальные поисковые системы Excalibur // Сети. 1997. N6.

3. Хмельницкий Н.Г. Интеллектуальный агент поиска информации // Реформы в Россини пробемы управления -2002: Материалы Всероссийской научной конференции молодых ученых и студентов. Вып. 1/ГУУ.-М., 2002.С.317-318

4. Хмельницкий Н.Г. Интеллектуальный агент поиска информации // Реформы в России и проблемы управления -2003: Материалы Всероссийской научной конференции молодых ученых и студентов. ГУУ.-М., 2003.

5. Хмельницкий Н.Г. Концепция интеллектуального агента поиска информации // Вестник ГУУ серии Информационных Систем Управления ГУУ.-М., 2004.

6. Хмельницкий Н.Г. Статистические методы обработки текстовой информации // Экономика. Управление. Культура, вып. 11., ГУУ.-М., 2004.

7. Хмельницкий Н.Г. Учет предпочтений пользователя при построении агента информационного поиска // Реформы в России и проблемы управления -2004: Материалы Всероссийской научной конференции молодых ученых и студентов. ГУУ.-М., 2004.о

8. Хмельницкий Н.Г. Постановка задач для интеллектуального агента поиска информации // 12-ый Всероссийский студенческий семинар «ПРОБЛЕМЫ УПРАВЛЕНИЯ» 14 15 апреля 2004 года.

9. Поспелов Д.А., Пушкин В.Н. Мышление и автоматы. М.: Сов.Радио, 1972.

10. CORBA Facilities: Mobile Agents System Interoperability Fascilities Submission , OMG document 98-03-09.

11. Дэвид Хаскин, Интеллектуальный механизм поиска в Web // PC Magazine, October 22, 1996, p.69

12. Ли Шлесинджер, Вызывая все поисковые механизмы // Сети, #06,1997.

13. ДИСКо Искатель, http://www.disco.ru/russian/products/finder.htm

14. Сергей Кондращев, Мобильные агенты будущее сетевого ПО // http://www.comprice.ru/set/2001-482.phtml

15. Эдвард Менделсон, 30 способов усовершенствовать браузер // PC Magazine/RE 2/2001.

16. МРЗ- Wolf // http://www.trellian.com/mwolf/index.html

17. Victor Lesser, Bryan Horling и др., BIG: A Resource-Bounded Information Gathering Agent // http://dis.cs.umass.edu/research/big/

18. Aaron Sloman, THE SimAgent TOOLKIT (Also known as SIMAGENT) // http://www.cs.bham.ac.uk/~axs/cogaffect/simagent.html

19. TextAnalyst 2.0 персональная система автоматического анализа текста // http://www.analyst.ru

20. About Convera's RetrievalWare // http://www.excalib.com/products/

21. СМИСК SMIsC Система структурного создания смысловых целостностей -System of Meaning Integrities structural Creation // http://www.hintech.ru/smiscr/index.htm

22. WEBSOM Self-Organizing Maps for Internet Exploration // http://websom.hut.fi/websom/

23. Обзор основных поисковых систем Рунета // http://www.kokoc.com/search-engines/3runetse.shtml

24. Вудс У.А., Основные проблемы представления знаний // THH3P.-T.74,N10.-C.32-46

25. Ефимов Е.И. Решатели интеллектуальных задач./М.,Наука. ,1982. С.320.

26. Нариньяни А.С., Яхно Т.М. Продукционные системы.//Представление знаний в человеко-машинных и робототехнических системах. М.,ВИНИТИ,1984. С.206-215.

27. Минский М. Фреймы для представления знаний./М.,Мир.,1979. С.551.

28. Поспелов Д.А. Большие системы. Ситуационное управление./М.,Знание.,1975. С.64.

29. Осипов Г.С. Построение моделей предметных областей. Неоднородные семантические сети./Техническая кибернетика., 1990. С.32-45.

30. Duffy, Т. M. & Cunningham, D. J. Constructivism: Implications for the Design and Delivery of Instruction. In: Jonas-sen, D. H. (ed.) Handbook of Research for Educational Communications and Technology: New York: Simon & Schuster Macmillan, 1998.

31. Осипов Г. С. Метод формирования и структурирования модели знаний для одного типа предметных областей // Изв. АН СССР. Техн. кибернетика. 1988. № 2.

32. Зыков А. А. Теория конечных графов./Новосибирск, Наука., 1969. С.371.

33. Котельников И.В. Введение структурной информации в процесс автоматической классификации данных, представляемых в реляционной модели./КИИ-94, Национальная конференция с международным участием "ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ 94", Т1.1994, С.30-34.

34. Нестеров П.В. и др. Интерактивная система автоматизированного реферирования документов на основе словаря стандартных фраз./НТИ, сер.2.,1991. С. 13-24.

35. Лукашевич Н.В., Салий А.Д. Тезаурус для автоматического индексирования и рубрицирования: разработка, структура, ведение./НТИ, cep.2.,1996.,Nl, С.1-6.

36. Гладкий А.В., Мельчук И.А. Элементы математической лингвистики./М.,1969. С.52537 www.citforum.primorve.ru/pp/search Q3.shtml

37. George К. Zipf, Human Behavior and the Principle of Least Effort (Cambridge, 1949), pp. ix, 3,5-8. (By permission of Addison-Wesley Press.)

38. Michael W. Berry, Susan T. Dumais, Todd A. Letsche, Computational Methods for Intelligent Information Access // www.cs.utk.ed\i/~berrv/sc95/sc95.html

39. С.А.Шумский, А.В.Яровой, О.Л.Зорин, Ассоциативный поиск текстовой информации // Труды Всероссийской конференции "Нейроинформатика'99", Москва, 1999г., ч.З Стр.101-109

40. Попов Э.В. Экспертные системы./М.,Наука,1987. С.443.

41. Зализняк А. А. Грамматический словарь русского языка. Словоизменение. М., 1977; 3-е изд. М., 1987.

42. Каталог товаров МедиаЛингва // http://www.mHngva.mags.ru/catalog.osg

43. Ахо А., Уильман Дж. Теория синтаксического анализа, перевода и компиляции. Т1.Синтаксический анализ. С.612 Т2.Компиляция. С.418/М.,Мир,1987.

44. Хант Э. Искусственный интеллект. Пер. с англ. -М.: Мир, 1978

45. С. Manning, Н. Schutze. Foundations of Statistical Language processing, The MIT Press, 1999.

46. Т. А. Грязнухина, H. П. Дарчук, В. И. Критская, Н. П. Маловица и др. Синтаксический анализ научного текста на ЭВМ, Киев: Научная мысль, 1999

47. Романов В.П. Интеллектуальные информационные системы в экономике. М., 2003., с. 247

48. Qvilian, Natural semantics, 1989

49. Wilks J., Knowledge Based Systems./1972. p.315

50. Паркер-Роудс А.Ф. О последних работах в области машинного перевода методом тезауруса и языка-посредника./Математическая лингвистика. М.,1964. С.112-125.

51. Логический анализ языка. Культурные концепты. М.: 1991.

52. Вежбицка А. Наброски к русско-семантическому словарю.//Научно-техническая информация, сер. 12,1968.-N2. С.29-47.

53. Мартынов В.В. УСК-язык представления знаний и эвристического поиска./М. АН СССР.,1980. С.173.

54. Поспелов ДА. Ситуационное управление. Теория и практика./М. Наука., 1986. С.285.

55. Шенк Р. Обработка концептуальной информации./М. Энергия.,1980. С.362.

56. Турчин В.Ф., Описание языка и приемы программирования./М.,1968. С.342.

57. Апресян Ю.Д. Лингвистическое обеспечение системы ЭТАП-2./М.,Наука.,1989. С.296

58. Городецкий В.И. Многоагентные системы: современное состояние исследований и перспективы применения// Новости искусственного интеллекта. 1996. - № 1. -С.44-59.

59. Maes P. Artificial life meets entertainment: life like autonomous agents// Communications of the ACM. 1995. - Vol.38, №11.- P.108-114.

60. Поспелов Д.А. От коллектива автоматов к мультиагентным системам// Труды Международного семинара "Распределенный искусственный интеллект и многоагентные системы" (DAJMAS'97, Санкт-Петербург, Россия, 15-18 июня 1997). -С.319-325.

61. Процесс разработки согласно Rational Unified Process методологии Rational Software.

62. B.H. Поляков " Интеллектуальная поисковая машина. Концептуальный проект. Труды Казанской школы по компьютерной и когнитивной лингвистике. TEL-2000. Вып. 5. Казань. 17-20 октября. 2000 г. Казань. Изд-во Сэлэт. 2000.

63. Романов В.П. Интеллектуальные информационные системы в экономике. М., 2003.-496 с.

64. Осипов Г.С. Приобретение знаний интеллектуальными системами. Основы теории и технологии. М., 1997

65. Разработка и исследование макета системы для классификации текстовых информационных сообщений. Итоговый отчет ИПС РАН. Переславль-Залесский, 1999.

66. Russell S.J., Norvig P. Artificial Intelligence: a Modern Approach. Englewood Cliffs NJ: Prentice Hall, 1995.