Разработка и исследование нечетких моделей интеллектуального поискового сервиса для сетевых сообществ Интернет тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Краснощеков, Евгений Евгеньевич

• Краснощеков, Евгений Евгеньевич
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Краснощеков, Евгений Евгеньевич

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИЗ СОВРЕМЕННЫХ МЕТОДОВ И СРЕДСТВ ПОИСКА ИНФОРМАЦИИ В ИНТЕРНЕТ.

1.1. Особенности существующих механизмов поиска в информационных системах.

1.2. Влияние процедур поисковой оптимизации сайтов на поисковые сервисы.

1.3. Анализ средств персонапизации поисковых систем.

1.4. Анализ проблем представления данных и поисковых запросов в информационных системах.

Выводы по первой главе.

ГЛАВА 2. РАЗРАБОТКА. И ИССЛЕДОВАНИЕ МОДЕЛЕЙ ПРЕДСТАВЛЕНИЯ И ИСПОЛЬЗОВАНИЯ ОПЫТА ПОИСКА ИНФОРМАЦИИ В ИНТЕРНЕТ

2.1 Роль опыта в поиске информации.

2.2 Модель локального поиска информации.

2.2.1 Идентификация экземпляров опыта поиска нечёткими 60 дескрипторами.

2.2.2 Оценивание информативности ресурсов рабочей области

2.2.3 Особенности реализации локального поиска.

2.3. Сравнительный анализ поискового сервиса, использующего опыт, с существующими способами поиска.

2.4.Модель глобального поиска.

2.5. Анализ особенностей применения комбинированной аналогии при поиске информационных ресурсов.

Выводы по второй главе

ГЛАВА 3. РАЗРАБОТКА МОДЕЛЕЙ ВИЗУАЛИЗАЦИИ ПОИСКОВЫМИ СЕРВИСАМИ РЕЗУЛЬТАТОВ ПОИСКА

3.1. Постановка задачи управления визуализацией.

3.2. Построение и исследование моделей целостности.

3.3. Анализ алгоритмов реализации оценочных функций.

3.4. Нахождение границ визуальной области анализа.

3.5. Преобразования карт и схем обобщающего характера.

Выводы по третьей главе.

ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ ИНТЕЛЛЕКТУАЛЬНОГО ПОИСКОВОГО СЕРВИСА

4.1. Постановка задачи разработки программного комплекса поискового сервиса.

4.2. Обзор реализованного интерфейса.

4.3. Описание технической реализации.

4.3.1. Разработанные программные модули.

4.3.2. Обработка экранных форм.

4.3.3. Работа с СУБД MySQL средствами языка PHP.

4.4. Функционирование поискового сервиса.

4.5.Результаты численных экспериментов.

Выводы по четвертой главе.

Введение диссертации (часть автореферата) на тему «Разработка и исследование нечетких моделей интеллектуального поискового сервиса для сетевых сообществ Интернет»

Актуальность темы. Современная сеть Интернет не только обеспечивает коммуникацию между людьми, но и даёт доступ к колоссальным объёмам накопленной человечеством цифровой информации. Количество пользователей, ежедневно обращающихся к Интернет, число серверов сети и хранимых ими документов, объём трафика измеряется числами порядка не менее 10б и эти цифры будут только расти. Рациональное использование информационных ресурсов Интернет давно уже стало невозможным без сетевых поисковых сервисов. Параллельность и асинхронизм процессов создания, модификации и удаления гипертекстовых документов привёл к появлению систем, выполняющих непрерывное слежение за состоянием информационных ресурсов Интернет, их индексирование и каталогизацию. Число поисковых серверов на сегодняшний день составляет несколько сотен, что свидетельствует о практической важности задачи поиска. При этом качество результатов поиска напрямую определяет рейтинг популярности поискового сервиса. Поисковые системы Yandex, Google, Yahoo,Rambler, Aport, Bing и ряд других серверов по-разному реализуют процедуры обхода сайтов, индексирования их содержимого и формирования ответов на поисковые запросы. Таким образом, существует ряд практически реализованных механизмов поиска, доступных пользователям Интернет.

Ни в теоретическом, ни в практическом отношении, тем не менее, проблема информационного поиска окончательно не решена. Об этом свидетельствует значительное число научных публикаций, существование непрерывно действующих Интернет-конференций и форумов по поиску информации и организации библиотечных систем, регулярное проведение семинаров поисковыми Интернет-порталами. Наконец, компания Yandex ежегодно проводит соревнования по поиску информации, публикуя анализ их результатов. Всё это говорит о том, что поисковые сервисы не являются средством гарантированного получения результата требуемого качества. Поиск остаётся в значительной степени искусством, базирующемся на знаниях, профессионализме и опыте пользователя.

В теоретическом отношении информационно-поисковые системы исследуются в течение нескольких десятков лет. Работы Г. Солтона, В. Крафта, К. Бакли, Решетникова В.Н. и многих других учёных развивали различные научные подходы к решению проблемы поиска синхронно с совершенствованием коммуникационных, программных и аппаратных средств информационных систем. Увеличение объёмов оперативной и внешней памяти компьютеров, скорости обработки информации, совершенствование средств работы с базами данных, сетевых технологий обусловили переход от исследования принципов адресного поиска к документальному, фактографическому, семантическому, полнотекстовому и другим, которые используют линейные и векторно-пространственные, детерминированные, нечёткие и вероятностные модели поиска. Современные исследования в области информационного поиска стимулируются развитием Интернет, совершенствованием средств сетевого хранения данных различной природы (тексты, гипертексты, звук, анимация, графика), появлением и расширением социальных сетей в Интернет.

Социальными сетями (сообществами) называют одну из разновидностей виртуальных сетей, которые строятся «поверх» универсальной сетевой основы - в данном случае Интернет. Узлами социальной сети являются пользователи, однозначно идентифицируемые внутри сети. На практике это логин и пароль, которые представляют собой уникальную комбинацию для конкретной сети. Коммуникация между узлами реализуется современными средствами обмена сообщениями в реальном масштабе времени и заполнением электронных досок объявлений, по электронной почте, ведением блогов. Сетевым сообществом именуют группу пользователей, объединившихся внутри социальной сети соответственно общности интересов по определённой теме.

Число социальных сетей достаточно велико и непрерывно продолжает расти. Возникновение первого сетевого сообщества датируется началом 90-х годов (сеть SixDegree). Наиболее известны в настоящее время сети MySpace, FaceBook, Twitter, LiveJournal, Odnoklassniki, VKontakte.

Основой создания многих сообществ является обмен опытом в решении прикладных задач реального мира. Социальная сеть в таком случае становится информационной средой, которая структурирует знания о ресурсах внешней сети Интернет и создаёт собственные. Активность социальной сети ведёт к необходимости создания собственных средств управления информационными ресурсами.

Как показывает анализ, средства оценки информационной среды Интернет и поиска должны в большей степени обладать интеллектуальным поведением, чтобы решать современные проблемы использования информации глобальной сети. К таким проблемам относятся:

1. Проблема отбора значимых (релевантных) документов. На сегодняшний день поисковыми серверами накоплен значительный общий объём проиндексированных данных о ресурсах Интернет. Поисковая выдача современных систем на запрос может составлять миллионы документов, просмотр и оценка которых для человека невозможна. Необходимо совершенствовать модели отбора релевантных документов, но существующие методики не дают эффективного результата.

2. Проблема накопления и использования опыта поиска. Особенность данной задачи в том, что современные социальные сети Интернет включают сетевые сообщества, осуществляющие естественным образом накопление и передачу опыта информационного поиска. В отличие от экстенсионального накопления и хранения данных поисковыми роботами (по оценкам экспертов, таким образом проиндексировано около 40% информационного пространства Интернет) сетевые сообщества накапливают информацию интенсиональным образом. При этом средства накопления и использования опыта остаются недостаточно развитыми.

3. Проблема интеллектуальной поддержки процесса решения прикладных задач, требующих поиска информации. Процесс поиска возникает в связи с решением пользователем некоторой прикладной задачи. Учёт некоторых особенностей задач, содержания и смысла документов, относящихся к проблеме потенциально способен повысить качество результата поиска. Современные сервисы обладают недостаточными возможностями целостной поддержки подобных процессов.

Цель и задачи исследования диссертационной работы. Цель работы заключается в разработке и исследовании моделей функционирования интеллектуального поискового сервиса для социальных сетей и сетевых сообществ Интернет.

Для достижения этой цели необходимо решить следующие задачи:

1. Разработка и исследование моделей интеллектуального процесса решения прикладных задач в диалоге с поисковой системой. Принципиальными отличиями моделей должно стать накопление и анализ опыта поиска, оценка качества найденных и изученных материалов, визуализация информационных структур и связей источников информации.

2. Разработка и анализ моделей, а также структур хранения и процедур поиска информационных ресурсов по их нечётким описаниям в сетевых сообществах, социальных сетях.

3. Теоретический анализ вопросов организации поисковых систем, ориентированных на визуальный анализ большого объёма сведений, поддержки процедур манипулирования сложными изображениями и разработки методов визуального представления опыта поиска.

Объектом исследования являются процессы коллективного накопления опыта поиска информационных ресурсов Интернет, его хранения и использования интеллектуальными поисковыми сервисами при выполнении поисковых запросов.

Предметом исследования являются модели описания и использования опыта поиска сетевыми сообществами Интернет, алгоритмы выполнения поисковых процедур при решении прикладных задач, а также модели и алгоритмы визуализации опыта поиска.

Методы исследования опираются на известные методы информационного поиска, теоретические основы разработки баз данных, теоретические методы искусственного интеллекта, методы численной оптимизации, а также методы и средства компьютерной графики.

Научная новизна диссертационной работы.

1. Предложен способ организации информационного поиска в сетевых сообществах, объединяющий средства локального и глобального поиска. Отличительной особенностью предложенного поискового сервиса является накопление и анализ опыта поиска с оценкой качества найденной и изученной информации, что позволяет пользователю повысить качество решения прикладной задачи.

2. Разработана модель нечёткого описания прецедентов поиска дескрипторами в пространстве концептов онтологии сетевого сообщества, которая отличается от аналогичных моделей предоставлением пользователю оценок экспертов с высоким рейтингом. На основе предложенного формализма синтезированы алгоритмы и определено согласование оценок ресурсов аналитиками, что позволяет повысить качество поисковой выдачи за счёт релевантности результатов.

3. Предложен метод решения задачи локального поиска на основе интеллектуального поискового сервиса, включающего актуализацию базы данных прецедентов поиска, который отличается от известных методов использованием нечётких категорий. Синтезирован нечёткий алгоритм нахождения наилучших последовательностей актуализации ресурсов, позволяющий получать оптимальное решение задачи локального поиска.

4. Разработан метод глобального поиска на основе комбинированной N аналогии, заключающийся в использовании набора частных показателей аналогии, доступных для оценки средствами поисковой системы. Предложенный метод отличается от известного метода структурной аналогии использованием множества контекстов для оценки сходства пары объектов, что позволяет повысить достоверность определения близких по смыслу ресурсов и увеличить эффективность глобального поиска.

5. Разработана методика обеспечения целостности визуализации поисковых схем, отличающаяся от известных использованием нечётких оценочных функций для выявления аномалий добавления и удаления объектов на уровне формы, цвета и текстуры, а также топологических отношений объектов поисковых схем. В рамках методики предложен классификационный алгоритм оценки целостности карт и схем поиска, что позволяет избегать аномалий добавления и удаления элементов поисковых карт и схем.

Основные положения, выносимые на защиту.

1. Способ организации информационного поиска в сетевых сообществах, объединяющий средства локального и глобального поиска.

2. Модель нечёткого описания прецедентов поиска дескрипторами в пространстве концептов онтологии сетевого сообщества, которая отличается от аналогичных моделей предоставлением пользователю оценок экспертов с высоким рейтингом.

3. Метод решения задачи локального поиска на основе интеллектуального поискового сервиса, включающего актуализацию базы данных прецедентов поиска, и нечёткий алгоритм нахождения наилучших последовательностей актуализации ресурсов.

4. Метод глобального поиска на основе комбинированной аналогии, заключающийся в использовании набора частных показателей аналогии, доступных для оценки средствами поисковой системы.

5. Методика обеспечения целостности визуализации поисковых схем, в рамках которой предложен классификационный алгоритм оценки целостности карт и схем поиска.

Практическая значимость диссертационного исследования заключается в том, что разработаны и внедрены в программной поисковой системе модели, методы и алгоритмы локального и глобального поиска информационных ресурсов на основе использования коллективного опыта поиска информации при создании сложных технических систем и конструкторских разработок.

Внедрение и использование результатов работы. Полученные в диссертационной работе результаты внедрены на ОАО «Таганрогском авиационном научно-техническом комплексе им. Г.М. Бериева» в контрактно-договорном отделе и отделе сетевого планирования работ, а также при выполнении научно-исследовательских работ в Научно-конструкторском бюро цифровой обработки сигналов Южного федерального университета. Результаты внедрения и использования результатов диссертационной работы подтверждаются соответствующими актами.

Апробация работы и публикации. Материалы диссертационной работы апробированы на VII Всесоюзной научной конференции студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления» (Таганрог, 2004); Международной научно-практической конференции «Компьютерные технологии в науке, производстве, социальных и экономических процессах» (Новочеркасск, 2005); IV Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых (Томск, 2006); VIII и IX Всероссийском Симпозиуме по прикладной и промышленной математике (Москва, 2007, 2008); Международной научно-технической конференции «Многопроцессорные вычислительные и управляющие системы (МВУС-2009)» (Таганрог, 2009); на ряде ежегодных конференций профессорско-преподавательского состава федерального государственного автономного образовательного учреждения высшего профессионального образования Таганрогского технологического института ЮФУ.

Публикации. По материалам работы опубликовано 11 печатных работ, в том числе 3 статьи в журналах из перечня рекомендуемых ВАК РФ.

Структура и объем работы. Диссертационная работа состоит из введения, 4 глав основного раздела, заключения, библиографического списка и приложения. Основное содержание работы изложено на 184 страницах, включая 13 таблицы, 41 рисунок и список литературы из 115 наименований.

Заключение диссертации по теме «Теоретические основы информатики», Краснощеков, Евгений Евгеньевич

Выводы по четвертой главе

1. Реализация интеллектуального поискового сервиса может быть выполнена на основе средств программирования, включающих в себя интерпретатор PHP и СУБД MySQL. Библиотека PHP включает набор необходимых функций для реализации задач интеллектуального поиска, в том числе функции программного интерфейса с СУБД MySQL. Основным достоинством подобного средства реализации является невысокая стоимость, что для сервисов социальных сетей немаловажно.

2. Построение визуальных представлений о результатах поиска требует привлечения дополнительных средств обработки графики, поскольку средства библиотеки PHP включают достаточно примитивные операции над растровыми данными. Возможно, более высокое качество обеспечат средства описания гиперстраниц, которые будут включены в очередной стандарт гипертекстовой разметки HTML 5 [114].

3. Экспериментальное сравнение трудоёмкости и затрат времени на выполнение задач локального и глобального поиска разработанным программным комплексом и поисковыми системами Yandex, Google, Mail, Rambler, Bing, Genon показало, что на рассмотренной прикладной задаче и принятой модельной базе знаний достигается выигрыш по трудоёмкости глобального поиска в 25%, по качеству локального поиска в 15%.

4. Анализ практической реализации показал целесообразность встраивания в поисковый сервис собственной программной оболочки для онтологии сетевого сообщества. Причина в том, что существующие системы построения онтологий в Интернет не публикуют программного интерфейса доступа к своему содержимому.

Заключение

Основной результат диссертационной работы заключается в создании интеллектуального поискового сервиса для социальных сетей и сетевых сообществ Интернет, позволяющего решать прикладные задачи пользователей в диалоге с поисковой системой. Отличительной особенностью предложенного поискового сервиса является накопление и анализ опыта поиска с оценкой качества найденной и изученной информации.

Диссертационная работа содержит следующие научные результаты:

1. Предложен способ организации информационного поиска в сетевых сообществах, объединяющий средства локального и глобального поиска.

2. Разработана модель нечёткого описания прецедентов поиска дескрипторами в пространстве концептов онтологии сетевого сообщества, которая отличается от аналогичных моделей предоставлением пользователю оценок экспертов с высоким рейтингом.

3. Предложен метод решения задачи локального поиска на основе интеллектуального поискового сервиса, включающего актуализацию базы данных прецедентов поиска. Синтезирован нечёткий алгоритм нахождения наилучших последовательностей актуализации ресурсов.

4. Разработан метод глобального поиска на основе комбинированной аналогии, заключающийся в использовании набора частных показателей аналогии, доступных для оценки средствами поисковой системы.

5. Разработана методика обеспечения целостности визуализации поисковых схем. В рамках методики предложен классификационный алгоритм оценки целостности карт и схем поиска.

Список литературы диссертационного исследования кандидат технических наук Краснощеков, Евгений Евгеньевич, 2011 год

1. Михайлов А.И., Черный А.И., Гиляревский P.C. Основы информатики. М.: Наука. 1968. - С. 756.

2. Сэлтон Г. Автоматическая обработка, хранение и поиск информации. -М.: Советское радио. 1973.

3. Москович В.А. Информационные языки. М.: Наука. 1971.

4. Черный А.И. Введение в теорию информационного поиска. М.: Наука. 1975.

5. Финн В.К. Логические проблемы информационного поиска. М.: Наука 1976.-С. 152.

6. Аветисян Д.О, Проблемы информационного поиска. М.: Финансы и статистика. 1981. — С. 206.

7. Решетников В.Н. Алгебраическая теория информационного поиска // Программирование. 1979. - № 3. - С. 78-83.

8. Белоногов Г .Г., Новоселов А.П. Автоматизация процессов накопления, поиска и обобщения информации. — М.: Наука. 1979.

9. Солтон Дж.Динамические библиотечно-информационные системы. — М.: Мир, 1979.

10. Криницкий H.A., Миронов Г.А., Фролов Г.Д. Автоматизированные информационные системы. Серия: Справочная математическая библиотека. -М.: Наука. 1982. С. 382.

11. Монастырский И.М. Информационно-поисковые системы. М.: Экономика, 1983.

12. Шапиро Л., Стокман Дж. Компьютерное зрение. М.: Бином. - 2006.

13. Столниц Э., ДеРоуз Т., Салезин Д. Вейвлеты в компьютерной графике, 2002.

14. Форсайт Д.А., Понс Ж. Компьютерное зрение. Современный подход, Вильяме, 2004.1518,1920,21,22,23,24,25,26