Формализация процесса мониторинга информации в сети Интернет при создании предметно-ориентированных хранилищ данных тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Леонов, Евгений Алексеевич

• Леонов, Евгений Алексеевич
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Леонов, Евгений Алексеевич

Введение.

Глава 1. Современные математические модели, применяемые для построения предметно-ориентированных хранилищ данных.

1.1. Обзор основных методов наполнения предметно-ориентированных хранилищ данных.

1.2. Анализ принципов взаимодействия с внешними информационно-поисковыми системами.

1.3. Обзор структур данных, используемых в информационных системах

1.4. Анализ современных методов анализа информации.

1.5. Описание принципов работы систем формирования предметно-ориентированных хранилищ данных.

1.6. Выводы по главе. Цель и задачи диссертационной работы.

Глава 2. Формализация универсального взаимодействия подсистем метапоиска с ИПС в рамках мультиагентной стратегии.

2.1. Обобщенная структура взаимодействия подсистемы метапоиска с внешними ИПС.

2.2. Математическая модель описания внутреннего агента метапоиска.

2.3. Математическая модель описания внешних информационно-поисковых систем.

2.4. Математическая модель функции настройки агента метапоиска на работу с внешней информационно-поисковой системой по ее полному описанию.

2.5. Математическая модель поиска документов через внешние ИПС с использованием экземпляра агента метапоиска.

2.6. Описание принципов работы агента метапоиска, его возможностей применения и усовершенствования.

2.7. Выводы по главе.

Глава 3. Разработка и оптимизация методов анализа и обработки информации при создании предметно-ориентированных хранилищ данных.

3.1. Моделирование процесса выявления значимой смысловой части документа и приведение его к универсальной иерархической структуре.

3.2. Разработка методов анализа медиаинформации и семантической классификации изображений.

3.3. Обоснование выбора и методы выявления основных критериев качества и пертинентности документов.

3.4. Ранжирование и фильтрация заведомо непертинентных документов в хранилище данных.

3.5. Выводы по главе.

Глава 4. Разработка программного комплекса для формирования предметно-ориентированного хранилища данных.

4.1. Разработка архитектуры программного комплекса.

4.2. Разработка структуры предметно-ориентированного хранилища данных и его представление в базе данных.

4.3. Разработка подсистемы анализа коллекций изображений и тестирования каскада нейронных сетей.

4.4. Разработка принципов клиент-серверного взаимодействия.

4.5. Разработка программных модулей пользовательского интерфейса.

4.6. Выводы по главе.

Глава 5. Анализ эффективности разработанных моделей, и исследование возможностей их применения при построении современных информационных систем.

5.1. Оценка эффективности разработанных методов и алгоритмов.

5.2. Анализ применения разработанных моделей и методов в современных информационных системах.

5.3. Результаты использования разработанных методов в рамках НИР и конкурсных работ.

5.4. Анализ возможных сфер применения разработанных методов.

5.5. Выводы по главе.

Введение диссертации (часть автореферата) на тему «Формализация процесса мониторинга информации в сети Интернет при создании предметно-ориентированных хранилищ данных»

Современные информационные системы (ИС) получили широкое распространение во множестве предметных областей. Начиная с 60-х годов прошлого века, велись активные разработки алгоритмов и методов построения интеллектуальных информационных систем исходными данными, которых являлись специализированные базы данных, заполняемые экспертами предметных областей. С повсеместным распространением сети Интернет она стала основным источником информации. В результате чего возникла возможность создания интеллектуальных систем, использующих в качестве основного источника информации сеть Интернет.

При адаптации методов искусственного интеллекта, используемых в классических ИС, к использованию в интернет-ориентированных информационных системах (ИОИС), возник широкий спектр проблем по наполнению хранилищ данных на основе Интернет. Среди таких проблем:

• низкая эффективность методов наполнения хранилищ данных в связи с отсутствием универсальных средств взаимодействия с информационно-поисковыми системами;

• необходимость и недостаточная эффективность существующих алгоритмов ранжирования документов по степени их качества в ограниченных предметно-ориентированных коллекциях;

• большое количество информации, представленной в виде медиаконтента, что требует дополнительных процедур ее анализа;

• общая высокая зашумленность информации в среде Интернет;

• наличие в веб-документах большого количества информации их не характеризующей.

В связи с этим значительно возрастает роль качественного автоматического сбора информации для формирования предметно-ориентированных хранилищ данных. Так как Интернет является универсальным источником информации, то для ограничения предметной области возникает необходимость предварительного отбора документов и выявления степени их соответствия предметной области информационной системы. Также не менее важным является фильтрация заведомо непертинентных документов, появление которых в коллекции может быть вызвано наличием большого объема поискового спама в сети. Имеется высокая зависимость качества работы всей ИС и используемых в ней методов анализа от исходной коллекции анализируемых документов. В связи с этим, данная работа, направленная на формализацию и усовершенствование методов и алгоритмов мониторинга информации из сети Интернет, является актуальной и требующей решения.

Цель работы - формализовать процесс мониторинга информации в сети Интернет и усовершенствовать методы анализа информации, используемые при построении предметно-ориентированных хранилищ данных с целью повышения эффективности работы Интернет-ориентированных информационных систем. Для достижения поставленной цели необходимо решить следующие задачи.

1. Формализовать процедуры взаимодействия подсистем сбора информации со сторонними информационно-поисковыми системами с целью эффективного наполнения предметно-ориентированного хранилища документов.

2. Разработать алгоритм обработки документов для выявления уникальной значимой смысловой части и определения основных параметров качества документа.

3. Разработать классификатор изображений используемых в документах для обнаружения иллюстраций контента и определения их типа.

4. Разработать методы фильтрации заведомо непертинентных документов в хранилище данных, с целью уменьшения его объема и повышения точности.

5. Создать программные средства для автоматизации мониторинга информации в сети Интернет и построения предметно-ориентированного хранилища данных.

6. Создать информационную систему, основанную на разработанных программных средствах автоматизации мониторинга сети Интернет, с целью проверки эффективности предлагаемых методов и алгоритмов. Методология и методы исследования. В основу исследований положены основные научные положения теории информационного поиска и искусственного интеллекта; математический аппарат и методы теории множеств и логики предикатов; теории искусственных нейронных сетей; теории нечетких множеств и лингвистических переменных. При разработке программной реализации использовалась объектно-ориентированная технология проектирования, а также теория мультиагентных систем.

Научная новизна работы состоит в разработке моделей и алгоритмов автоматизированного сбора и обработки информации для мониторинга информации в сети Интернет и использовании разработанных алгоритмов в процессе формирования предметно-ориентированных хранилищ данных, а именно:

1) разработана математическая модель формализованного представления веб-сервисов поиска и ИПС в качестве внешних агентов метапоиска;

2) разработаны методы анализа структуры документа для выявления семантически значимых информационных блоков;

3) предложена методика предварительной семантической классификации изображений с использованием каскада простых нейронных сетей;

4) предложено использование алгоритма нечеткого логического вывода типа Мамдани для ранжирования документов в условиях ограниченности коллекции по предметной области на основе учета их информативности.

Практическую ценность работы составляют:

1) разработанный универсальный программный комплекс, обеспечивающий мониторинг информации в сети Интернет и формирующий предметно-ориентированное хранилище данных;

2) разработанный сервис тестирования искусственных нейронных сетей классификатора и анализа коллекций изображений;

3) классифицированные тестовые и проверочные коллекции изображений для исследований применения методов машинного обучения.

Реализация результатов работы. Результаты исследований и разработанный программный комплекс нашли широкое применение и были использованы в рамках исследований по следующим НИР: «Создание отраслевой системы доступа к информационным ресурсам научного и образовательного назначения по приоритетным направлениям развития науки и техники в области искусственного интеллекта и CALS-, CAD-, САМ-, CAE-технологий» (гос. per. № 01 2006 05586); «Разработка теории построения инструментальной среды создания многоагентных систем интеллектуализации поиска и анализа данных в глобальных вычислительных сетях» (гос. per. № 01 2009 54253); «Создание информационно-аналитической системы мониторинга, анализа и прогнозирования процесса подготовки научных кадров в вузах и научных организациях с учетом приоритетных направлений развития экономики и социальной сферы федерального округа» (гос. per. № 01 2009 54245); «Разработка математических моделей, информационного и программного обеспечения для поддержки инновационных решений в области высоких технологий наукоёмких производств» (гос. per. № 01 2009 54252).

Апробация работы. Основные научные и практические результаты работы докладывались и обсуждались на 9 различных конференциях и форумах. Работа докладывалась на международном молодежном форуме «Будущее высоких технологий и инноваций за молодой Россией», проводимом в рамках XV международной выставки-конгресса «Высокие технологии. Инновации. Инвестиции» (г. Санкт-Петербург 2009 г.), и была отмечена призовым 3 местом; по итогам открытого конкурса молодых ученых по тематике «Наука и образование против террора» была отмечена в номинации «Оригинальная работа» (МГТУ, г. Москва, 2010 г.); на III Международной научно-практической конференции «Достижения молодых учёных в развитии инновационных процессов в экономике, науке, образовании» отмечена дипломом победителя программы «Участник молодежного научно-инновационного конкурса» («УМНИК») (г. Брянск, 2011 г.); на международной научно-практической конференции «Инновации в условиях развития информационно-коммуникативных технологий» (г. Орел, 2008 г.); и др.

В первой главе проведен обзор существующих современных методов анализа и обработки информации, применяемых при построении предметно-ориентированных хранилищ данных. Показывается значительная роль мониторинга информации в формировании информационных систем.

Выполнен обзор основных методов наполнения предметно-ориентированных ХД. Для этого проведена классификация источников информации по их назначению, принципам работы. Рассматриваются достоинства и недостатки существующих методов наполнения предметно-ориентированных ХД с точки зрения уровня их автоматизации, качеству предоставляемой информации.

Для разработки алгоритмов эффективного сбора информации были проанализированы основные принципы взаимодействия пользователя с ИПС. Проведена классификация ИПС по структуре их ответа и особенностей его разбора.

В рамках задачи разработки алгоритма для обработки документов с целью выявления уникальной значимой смысловой части выполнен обзор существующих смежных решений.

Проведен обзор существующих методов анализа медиаинформации и выявлены основные их недостатки, ограничивающие их широкое применение в предметно-ориентированных ИС. Показана актуальность применения наряду с известными методами анализа, дополнительной классификации изображений по следующим классам: схема, диаграмма, таблица, снимок экрана, формула, фотография, чертеж, рисунок, миниатюра.

В работе выполнен анализ основных математических методов ранжирования документов в ограниченных коллекциях. Подробно рассмотрены алгоритмы, основанные на расчете взвешенной цитируемости {PageRank). Обоснована его низкая эффективность при применении в ИС, основывающихся на ограниченных по предметной области коллекциях документов.

В заключении главы описаны принципы работы систем формирования предметно-ориентированного ХД. Для этого обосновывается выбор мультиа-гентной стратегии построения ИС; описываются принципы и форматы взаимодействия между агентами; определены необходимые группы агентов, а также описано их назначение и требования к ним и набора входных и выходных данных.

Вторая глава посвящена формализации универсального взаимодействия подсистем метапоиска с ИПС в рамках мультиагентной стратегии.

Для осуществления сбора документов из различных источников (электронные энциклопедии, электронные каталоги, тематические ресурсы и ИПС) были разработаны математические модели и алгоритмы универсального взаимодействия, позволяющие создать подсистему метапоиска, которая учитывает все особенности, возможности и параметры поиска сторонних ИПС, а также предоставляет возможности быстрой перенастройки и добавления ИПС в подсистему метапоиска.

В главе описаны математические модели описания агента метапоиска, описания поисковых систем, функции настройки агента метапоиска, поиска документов. Основной идеей данных моделей является вынесение всех уникальных особенностей подключаемой системы поиска в отдельное описание, независящее от программного кода агента метапоиска.

Разработанные модели являются универсальными для любого типа ИПС. Для метапоиска могут быть использованы ресурсы следующих типов: универсальные глобальные ИПС (Google, Yandex, Bing, Yahoo, Rambler, Mail и др.); сервисы поиска на отдельных ресурсах (wiki, форумы, каталоги); автоматические системы поиска, имеющие программные интерфейсы взаимодействия.

Третья глава посвящена разработке и оптимизации методов анализа и обработки информации при создании предметно-ориентированных хранилищ данных.

Первым этапом обработки информации в веб-документах является задача приведения языков гипертекстовой разметки к естественному языку. Для этого был разработан алгоритм выявления семантически значимой части документа. Основным назначением, которого является фильтрация избыточной информации в рамках одного веб-документа, такой как: средства навигации по сайту; информация рекламного характера; информация, предназначенная для создания общего стиля документов одного источника, и др.

Описан алгоритм, в котором проводится сравнение трех веб-документов: анализируемый документ; его обновленная копия; документ с того же доменного имени и в результате которого удается выделить уникальную статическую часть, представляющую собой главный информационный блок документа.

Разработанный алгоритм имеет высокую производительность и низкую степень ложного срабатывания. Применение метода выявления семантически значимой части перед этапом индексирования документов позволяет значительно повысить точность выборки документов.

В работе описываются методы сбора метаинформации о медиаконтенте в документе. Для расширения возможностей получаемого хранилища данных и выполнения более эффективного ранжирования, описан метод семантической классификации изображений на следующие классы: схема, диаграмма, таблица, снимок экрана, формула, фотография, чертеж, рисунок, миниатюра.

Для анализа изображений используется каскад простых искусственных

ЧУ т-\ нейронных сетей. В качестве входных сигналов принимались параметры, полученные на основе мета-информации об изображении и информации об изображенных объектах коррелирующих с определенными классами. Для этого на изображениях производился поиск примитивов: прямоугольник, треугольник, окружности, элементы управления Windows форм.

В качестве заключительного этапа построения ХД, предлагается метод фильтрации заведомо непертинентных документов. Фильтрация документов производится по итогам ранжирования, проводимого в трех различных аспектах: информативность документа, степень соответствия предметной области, оценка источника информации. Для ранжирования документов был применен аппарат нечеткой логики. В качестве алгоритма нечеткого логического вывода используется алгоритм Мамдани.

В четвертой главе описываются основные этапы разработки программного комплекса для формирования предметно-ориентированного хранилища данных. Для этого была разработана структура хранилища данных, основанная на технологии ROLAP с применением схемы типа «звезда», и использованием реляционной СУБД MySQL. Предметно-ориентированное хранилище данных имеет несколько уровней агрегирования данных, что позволяет эффективно проводить анализ данных, вторично используя промежуточные расчеты. Программный комплекс построен по клиент-серверной архитектуре на основе мультиагентной стратегии, при которой каждый агент является независимым, а все управление осуществляется через агент координации.

Пользовательский интерфейс выполняется на стороне клиента, реализован с использованием различных веб-технологий {JavaScript, HTML, CSS, Flash) и представляет собой веб-интерфейс, работающий по принципам приложений Web2.0, взаимодействуя с модулями, обслуживающими пользовательский интерфейс на сервере, и обмениваясь данными по средствам асинхронных запросов с использованием JSON и XML форматов данных.

Архитектура разработанного программного комплекса позволяет гибко расширять функциональность системы и переориентировать под цели использования ИС в целом, за счет добавления новых агентов, а также гибко расширять возможности пользовательского интерфейса.

В пятой главе проводится анализ эффективности применения разработанных моделей и методов и исследование возможностей их применения при построении современных ИС.

Рассматриваемые в работе методы и алгоритмы ограниченны по области их применения и наиболее эффективны при создании предметно-ориентированных ИС, использующих в качестве основного источника информации среду Интернет и базирующиеся на применении хранилищ данных.

Гибкая архитектура разработанного программного комплекса и предлагаемых методов анализа и обработки информации позволяет быстро переориентировать систему, как при использовании базового функционала, так и за счет разработки дополнительных агентов: извлечения данных, классификации, кластеризации, лингвистических анализаторов, подсистем логического вывода и др.

Предлагаемые методы и алгоритмы нашли широкое применение при разработке ИС, реализуемых в рамках НИР, имеющих различные направления исследований, показав тем самым универсальность их применения.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Леонов, Евгений Алексеевич

5.5. Выводы по главе

1. Проведена оценка эффективности, разработанных методов, в результате которой показана высокая эффективность методов и скорость работы предложенных алгоритмов.

• Метод выявления семантически значимой части документа позволяет значительно повысить точность коллекции документов в ХД при незначительной потере пертинентных документов. Ошибки, появляющиеся при фильтрации информационных блоков, связаны с использованием в веб-документах неклассических методов внедрения рекламы и выполнения оформления сайтов.

• Метод семантической классификации изображений позволяет с высокой вероятностью разделить информативные изображения от неинформативных и обеспечивает приемлемую точность классификации в рамках информативных классов. Используемый каскад нейронных сетей показывает наилучшие результаты обнаружения формул и миниатюр изображений.

2. Показаны возможности построения различных типов ИС на базе проведенных исследований. Определены целесообразность и эффективность применения разработанных методов для ИС каждого типа. Выявлены основные проблемы, решаемые с помощью предложенных моделей для ИС. Определены основные ограничения на применение разработанных моделей.

3. Описаны основные результаты применения разработанных методов в рамках НИР и показано их использование при разработке отдельных ИС. Методы были опробованы при построении ИС различных типов и направлений, что показывает универсальность их применения.

Гибкая архитектура разработанного программного комплекса и предлагаемых методов анализа и обработки информации позволяет быстро переориентировать систему для использования в различных сферах применения. В заключении главы проведен анализ возможных сфер применения разработанных методов и показаны варианты построения на их базе ИС широкого спектра назначения.

ЗАКЛЮЧЕНИЕ

В результате проведенных исследований удалось формализовать процесс мониторинга информации в сети Интернет и усовершенствовать методы анализа информации, используемые при построении предметно-ориентированных хранилищ данных. Разработанные и усовершенствованные методы позволили существенно повысить эффективности работы Интернет-ориентированных информационных систем за счет увеличения точности и полноты используемых предметно-ориентированных хранилищ данных.

Результаты исследований и разработанный программный комплекс нашли широкое применение и были использованы в рамках исследований по 4 НИР. Основные научные и практические результаты работы докладывались и обсуждались на 9 различных конференциях и форумах. На основании исследований были созданы проекты ставшие победителями в 3 различных конкурсах.

При выполнении работы были получены следующие основные выводы и результаты:

1. Проведен анализ современных Интернет-ориентированных информационных систем, показан их структурный состав, основные недостатки и влияние качества используемых предметно-ориентированных ХД на эффективность работы системы в целом.

2. Разработаны математические модели, формализующие процесс взаимодействия с произвольными сторонними информационно-поисковыми системами, с целью использования их в рамках мультиагентного метапоис-ка.

3. Создана методика выявления семантически значимой части веб-документа, основывающаяся на алгоритме сравнения объектных моделей документов, с целью фильтрации неуникальной и непостоянной информации в веб-документах.

4. Разработан метод семантической классификации изображений по классам (схема, диаграмма, таблица, снимок экрана, формула, фотография, чертеж, рисунок, миниатюра) на основе использования каскада простых нейронных сетей.

5. Предложен алгоритм ранжирования и фильтрации документов в предметно-ориентированных хранилищах данных, опирающийся на оценки иллюстративности и информативности документа, степени соответствия предметной области, оценку источника получения информации.

6. Разработан универсальный программный комплекс, обеспечивающий мониторинг информации в сети Интернет и формирующий предметно-ориентированное хранилище данных по заданной экспертом предметной области.

7. Предложена открытая архитектура построения информационных систем с использованием мультиагентной стратегии, позволяющая перестраивать программные комплексы под различные области применения.

8. Проведена проверка эффективности разработанных методов и алгоритмов анализа информации - они успешно применены при разработке 3-х информационных систем, выполняемых в рамках НИР по различным предметным областям знаний.

Список литературы диссертационного исследования кандидат технических наук Леонов, Евгений Алексеевич, 2011 год

1. Аверкин, А.Н. Нечеткие множества в моделях управления и искусственного интеллекта / А.Н. Аверкин, И.З. Батыршин, А.Ф. Блишун, В.Б. Си-лов, В.Б. Тарасов. Под ред. Д.А. Поспелова. М.:Наука.Гл.ред.физ.-мат. лит., 1986.-312с.

2. Аверченков, В.И. Система формирования знаний в среде Интернет: монография / В.И. Аверченков, A.B. Заболеева-Зотова, Ю.М. Казаков, Е.А. Леонов, С.М. Рощин; Брянский гос.техн. ун-т. Брянск: Изд-во БГТУ, 2008. -180с.

3. Аверченков, В.И. Применение онтологий при создании электронных образовательных ресурсов. / В.И. Аверченков, П.В. Казаков // Известие Орел ГТУ, серия «Информационные системы и технологии», №1(1), 2006, с.6-11.

4. Аверченков, В.И. Инновационный менеджмент: учеб. пособие для вузов / В.И. Аверченков, Е.Е. Вайнмаер. Брянск: БГТУ, 2004. - 293 с.

5. Аверченков, В.И. Модель тезауруса для задачи семантического расширения дерева синтаксического разбора запроса на естественном языке. / В.И. Аверченков, Е.А. Белов // Вестник БГТУ., 1, 2006, с. 70-77.

6. Аверченков, В.И. Применение онтологий при создании электронных образовательных ресурсов. / В.И. Аверченков, П.В. Казаков // Известие Орел ГТУ, серия «Информационные системы и технологии», №1(1), 2006, с.6-11.

7. Аверченков, В.И. Математическая модель универсальной много-агентной подсистемы метапоиска / В.И. Аверченков, Е.А. Леонов // Вестник БГТУ. 2011. №2 - с.101-110.

8. Аверченков, В.И. Мониторинг и системный анализ информации в сети Интернет: монография / В.И. Аверченков, С.М. Рощин Брянск: БГТУ, 2006. -160 с.

9. Аверченков, В.И. Система формирования знаний / В.И. Аверченков, С.М. Рощин // Материалы международной конференции. В 3-х т. Т.1./ ВолгГТУ. Волгоград, 2004. - с. 10-15.

10. Агеев, М.С. Метод эффективного расчета матрицы ближайших соседей для полнотекстовых документов. / М.С. Агеев, Б.В. Добров // Вестник Санкт-Петербургского университета. 2011. №3 - с.72-84.

11. Агеев, М.С. Извлечение значимой информации из web-страниц для задач информационного поиска / М.С. Агеев, И.В. Вершинников, Б.В. Добров // Изд.: Научно-исследовательский вычислительный центр, 2010. 20с.

12. Агеев, М.С. Тематический анализ коллекции документов on-line. / М.С. Агеев, Б.В. Добров // Научный сервис в сети ИНТЕРНЕТ: Труды Всероссийской науч. конф. Новороссийск, сентябрь 2003. - с.249-252.

13. Агеев, М.С. Экспериментальные алгоритмы поиска/классификации и сравнение с «basic line» / Агеев М.С., Добров Б.В., Лукашевич Н.В., Сидоров A.B. // Российский семинар по Оценке Методов Информационного Поиска (РОМИП 2004) Пущино, 2004. - с.62-89.

14. Алгазинов, Э.К. Анализ и компьютерное моделирование информационных процессов и систем. / Э.К. Алгазинов, А.А. Сирота Изд.: Диалог-МИФИ, 2009.-416с.

15. Алтунин, А.Е. Модели и алгоритмы принятия решений в нечетких условиях. А.Е. Алтунин, М.В. Семухин Тюмень: Изд-во Тюменского государственного университета, 2000. - 352с.

16. Арлазаров, В. Обработка изображений и анализ данных. / Емельянов, И. Изд.: Либроком, 2008. - 368с.

17. Архипенков, С .Я. Хранилища данных / С.Я. Архипенков, Д.В. Голубев, О.Б. Максименко Изд.: Диалог-МИФИ, 2002. - 528с.

18. Асаи, К. Прикладные нечеткие системы / Асаи К., Ватада Д., Иваи С. и др. / Под ред. Т. Тэрано, К. Асаи, М. Сугено. М.: Мир, 1993. - 368с.

19. Асратян, Р.Э. Интернет и распределенные многоагентные системы / Р.Э. Асратян, В.И. Лебедев, Р.И. Дмитриев Изд. Ленанд, 2007. - 72с.

20. Балл од, Б. А. Информационная система проведения мониторинговых исследований общественного мнения «Monitoring». / Б.А. Баллод, А.А Белов, П.А. Цуканов URL: http://ptsukanov.narod.ru/aticles/vl.html. (дата обращения: 15.04.2011).

21. Барский, А.Б. Логические нейронные сети: учеб. пособие / А.Б. Барский. М.: Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2010. - 352с.

22. Беллман, Р. Принятие решений в расплывчатых условиях. / Р. Белл-ман, Л. Заде В кн.: Вопросы анализа и процедуры принятия решений. -М.Мир, 1976. - с.172-215.

23. Берштейн, Л.С. Нечеткие модели принятия решений: дедукция, индукция, аналогия. / Л.С. Берштейн, А.В. Боженюк Таганрог: Изд-во ТРТУ, 2001.- 1 Юс.

24. Борисов, А.Н. Модели принятия решений на основе лингвистической переменной. / А.Н. Борисов, A.B. Алексеев, O.A. Крумберг и др Рига: Зи-натне, 1982.-256с.

25. Борисов, А.Н., Алексеев A.B., Меркурьева Г.В. и др. Обработка нечеткой информации в системах принятия решений. / А.Н. Борисов, A.B. Алексеев, Г.В. Меркурьева и др. М: Радио и связь. 1989. - 304с.

26. Борисов, А.Н. Принятие решений на основе нечетких моделей. Примеры использования. / А.Н. Борисов, O.A. Крумберг, И.П. Федоров Рига: Зи-натне, 1990.- 184с.

27. Боровиков, В.П. Нейронные сети. Statistica Neural Networks. Методология и технологии современного анализа данных. Изд.: Линия-Телеком, 2008. 392с.

28. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами приложений на на С++: Пер. с англ. 2-е изд. М.: Бином, 1998.

29. Ван, X. Аксиоматические системы теории множеств / X. Ван, Р. Мак-Нотон: под ред. Л.А. Калужнина М. Изд. Иностранной литературы, 1963. -50с.

30. Веллинг, Л. Разработка веб-приложений с помощью PHP и MySQL. / Л. Веллинг, Л. Томсон Изд.: Вильяме, 2010. - 848с.

31. Визильтер, Ю.В. Обработка и анализ цифровых изображений с примерами на Lab VIEW и IMAQ Vision. / Ю.В. Визильтер, С.Ю. Желтов, В.А. Князь, А.Н. Ходарев Изд.: ДМК, 2008. - 464с.

32. Вилтон, П. JavaScript. Руководство программиста. / П. Вилтон, Д. МакПик Изд: Питер, 2009. - 720с.

33. Волкова, В.Н. Основы теории систем и системного анализа / В.Н. Волкова, A.A. Денисов: Учебник для студентов вузов, обучающихся по специальности «Системный анализ и управление». Изд. 2-е, перераб. и доп. СПб.: Изд-во СПбГТУ, 2001. 512с.

34. Гаврилова, Т.А. Базы знаний интеллектуальных систем / Т.А. Гаври-лова, В.Ф. Хорошевский. СПб.: Питер, 2000. - 384с.

35. Галушкин, А.И. Нейронные сети. Основы теории. Изд.: Горячая Линия-Телеком, 2010. 496с.

36. Глушаков, C.B. Программирование в среде Windows / C.B. Глуша-ков, В.В. Мельников, A.C. Сурядный: учебный курс. Харьков: Фолио; М.: ООО "Издательство ACT", 2000. - 487с.

37. ГОСТ 19.701-90. Единая система программной документации. Схемы алгоритмов, программ, данных и систем. Обозначения условные и правила выполнения, 1992. 36с.

38. ГОСТ 7.24-90. Система стандартов по информации, библиотечному и издательскому делу. Тезаурус информационно-поисковый многоязычный. Состав, структура и основные требования к построению.

39. ГОСТ 7.25-80. Система стандартов по информации, библиотечному и издательскому делу. Тезаурус информационно-поисковый одноязычный. Правила разработки, структура, состав и форма представления.

40. Григорьев, Ю.А. Банки данных / Ю.А. Григорьев, Г.И. Ревунков: Учеб. для вузов. М.: Изд-во МГТУ им. Н.Э. Баумана, 2002. - 320с.

41. Гулаков, B.K. Создание аналитических средств обработки хранилища данных по образованию / В.К. Гулаков, А.Г. Подвесовский, В.И. Попков // Практика системного анализа. Кострома: 2002. - с. 116-121.

42. Дубинский, А.Г. Характеристики эффективности информационного поиска в сети Интернет // Научный сервис в сети Интернет: Труды всероссийской научной конференции (24-29 сентября 2001 г., г. Новороссийск). М.: Изд-во МГУ, 2001.-с. 145-148.

43. Дюбуа, Д. Теория возможностей. Приложения к представлению знаний в информатике. / Д. Дюбуа, А. Прад М: Радио и связь, 1990. - 288с.

44. Заболеева-Зотова, A.B. Естественный язык в автоматизированных системах. Семантический анализ текстов: Монография / ВолгГТУ. Волгоград, 2002. - 228с.

45. Заболеева-Зотова, A.B. Лингвистические системы: модели, методы, приложения. Монография. Волгоград, ВолгГТУ, 2004. - 220с.

46. Заболеева-Зотова, A.B. Лингвистическое обеспечение автоматизированных систем: учеб. пособ.(гриф). Доп. УМО вузов по университетскому политехи. образованию / A.B. Заболеева-Зотова, В.А. Камаев. М.: Высшая школа, 2008. - 244с.

47. Завалишин, Н.В. Модели зрительного восприятия и алгоритмы анализа изображений / Н.В. Завалишин, И.Б. Мучник. М.: Наука, 1974. - 344с.

48. Заде, Л.А. Основы нового подхода к анализу сложных систем и процессов принятия решений. В кн.: Математика сегодня.- М.: Знание, 1974, с.5-49.

49. Заде, Л.А. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.:Мир, 1976. - 165с.

50. Зайченко, Ю.П. Исследование операций: нечеткая оптимизация: Учеб. пособие.- Киев: Выща школа, 1991. 191с.

51. Иванова, Г.С. Объектно-ориентированное программирование / Г.С. Иванова, Т.Н. Ничушкина, Е.К. Пугачев. М.: Издательство МГТУ им. Баумана, 2001.-320с.

52. Информационная технология интеллектуальной поисковой системы. URL: http://www.stocona.ru/technology/search/ (дата обращения: 04.06.2010).

53. Камаев, В.А. Морфологические методы исследования новых технических решений / В.А. Камаев, A.B. Андрейчиков, О.Н. Андрейчикова. Изд. ВолгГТУ Волгоград, 1994. 160с.

54. Камаев, В.А. Технологии программирования: учебник. Доп. Мин-вом образования и науки Российской Федерации / В.А. Камаев, В.В. Костерин. 2-е изд., перераб. и доп. - М.: Высшая школа, 2006. - 454с.

55. Карабутов, H.H. Структурная идентификация систем. Анализ информационных структур. Изд.: Либроком, 2009. 176с.

56. Карцан, И.Н. Многоагентная система для поиска и обработки тема-тико-ориентированной информации Автореферат, Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева, Красноярск, 2007.

57. Козлов, Е.Б. Мультиагентная система поиска информации в Интернет / Е.Б. Козлов, A.B. Метелкин, В.Ф. Хорошевский // Труды седьмой национальной конференции по искусственному интеллекту с международным участием КИИ'2000, Физматлит, М., с.840-850.

58. Колмогоров, А.Н. Математическая логика / А.Н. Колмогоров, А.Г. Драгалин. Изд. УРСС Серия "Классический университетский учебник", 2003. - 240с.

59. Комплексное решение Хранилище данных предприятия. URL: http://www.elar.ru/resh/hrdpr.html (дата обращения: 24.02.2011).

60. Компьютерные сети. Принципы, технологии, протоколы / В.Г. Оли-фер, H.A. Олифер. СПб.: Питер, 2001. - 672с.

61. Коновалов, А. Объектная модель данных для хранилищ данных. -URL: http://synthesis.ipi.ac.ru/sigmod/seminar/s20021031 (дата обращения: 07.02.2011).

62. Копылов, В.А. Построение автоматизированных информационно-поисковых систем. -М.: Энергия, 1974. 144с.

63. Косовский, Н.К. Логики конечнозначных предикатов на основе неравенств. / Н.К. Косовский, A.B. Тишков СПб.: Издательский дом СПбГУ, 2000. -268с.

64. Кофман, А. Введение в теорию нечетких множеств.- М.: Радио и связь, 1982.-432с.

65. Круглов, B.B. Нечеткая логика и искусственные нейронные сети. / В.В. Круглов, М.И. Дли, Р.Ю. Голунов: Физматлит, 2001. 224с.

66. Кулик, Б.А. Математическая модель дедуктивной базы данных на основе алгебры кортежей // Известия РАН. Техническая кибернетика. 1994. №2. с.161-169.

67. Кулик, Б.А. Система логического программирования на основе алгебры кортежей // Известия РАН. Техническая кибернетика. 1993. №3. с.226-239.

68. Ландэ, Д.В. Основы концепции "глубинного анализа текстов", Информационно-поисковые языки, интерфейсы пользователей ИПС // URL: http://poiskbook.kiev.ua (дата обращения: 03.02.2011).

69. Майли, М. Организация хранилищ данных в сети Web. URL: http://www.oracle.ru/press/oramag/974/pg7.html - (дата обращения: 06.08.2011).

70. Малышев, Н.Г. Нечеткие модели для экспертных систем в САПР / Н.Г. Малышев, Л.С. Бернштейн, A.B. Боженюк-М.: Энергоиздат, 1991. 136с.

71. Мелихов, А.Н. Ситуационные советующие системы с нечеткой логикой / А.Н. Мелихов, Л.С. Берштейн, С.Я. Коровин М.: Наука, 1990. - 272с.

72. Минаев, Ю.Н. Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом б азисе. / Ю.Н. Минаев, О.Ю. Филимонова, Бенамеур Лиес. М.: Горячая линия -Телеком, 2003.-205с.

73. Морозов, А.А. Об одном подходе к логическому программированию интеллектуальных агентов для поиска и распознавания информации в Интернет. "Журнал радиоэлектроники" №10, 2003(13)

74. Нейгел, К. С# 2008 и платформа .NET 3.5 для профессионалов / К. Нейгел, Б.Ивьен, Д. Глин, К. Уотсон, М. Скиннер: пер. с англ. М.: ООО «И.Д. Вильяме», 2009. - 1392с.

75. Некрестьянов, И. Обнаружение структурного подобия HTML-документов / И. Некрестьянов, Е. Павлова // Труды четвертой всероссийской конференции RCDL'2002, Дубна, Россия, 2002. с.38-54.

76. Новак, В. Математические принципы нечеткой логики / В. Новак, И. Перфильева, И. Мочкорж.: пер. с англ. под ред. А.Н. Аверкина. М.: Физмат-лит, 2006. - 347с.

77. Орлов, А.И. Задачи оптимизации и нечеткие переменные. М.: Знание, 1980.-64с.

78. Орлов, А.И. Связь между средними величинами и допустимыми преобразованиями шкалы.- Математические заметки, т. 30, вып. 4, 1981, с. 561-568.

79. Орловский, С.А. Проблемы принятия решений при нечеткой информации. М. :Наука, 1981. - 206с.

80. Особенности и преимущества пакета Microsoft Commercial Internet System 2.0. URL: http://www.wiznet.ru/comp/compaq/comp125.htm - (дата обращения: 16.07.2011).

81. Осовский, С. Нейронные сети для обработки информации. Изд.: Финансы и статистика, 2004. 344с.

82. Осуги, С. Приобретение знаний / Под ред. С. Осуги, Ю. Саэки. М.: Мир, 1990.-304с.

83. Перфильев, Д. Анализ цифровых изображений. Изд.: Ламберт, 2011. -112с.

84. Петровский, А.Б. Пространства множеств и мультимножеств//М.: Едиториал УРСС, 2003. 248с.

85. Пиотровский, Р.Г. Текст, машина, человек. СПб.: Наука, 1975—328с.

86. Пиотровский, Р.Г. Методы автоматического анализа и синтеза текста / Р.Г. Пиотровский, В.Н. Билан, М.Н. Боркун, А.К. Бобков Минск: Выш. шк., 1985,- 224с.

87. Поспелов, Д.А. Логико-лингвистические модели в системах управления. -М.: Энергоиздат, 1981. 232с.

88. Поспелов, Д.А. Ситуационное управление: теория и практика. М. Наука, 1986.-288с.

89. Потапов, А. Автоматический анализ изображений и распознавание образов. Изд.: Ламберт, 2011. 292с.

90. Пытьев, Ю.П. Методы морфологического анализа изображений / Ю.П. Пытьев, А.И. Чуличков Изд.: Физматлит, 2010. - 342с.

91. Ротштейн, А.П. Интеллектуальные технологии идентификации: нечеткая логика, генетические алгоритмы, нейронные сети. — Винница: УНИВЕРСУМ Винница, 1999. - 320с.

92. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, Л. Рутковский: пер. польск. И.Д. Ру-динского. М.: Горячая линия - Телеком, 2008. - 452с.

93. Спирли, Э. Корпоративные хранилища данных. Планирование, разработка, реализация. Том. 1: Пер. с англ. М.: Издательский дом «Вильяме», 2001.

94. Тарасов, В.Б. Агентно-ориентированные технологии в реинжиниринге предприятий // Экономические информационные технологии на пороге XXI-го века. Сборник докладов Российской научной конференции (Москва, 19-20 октября 1999 г.) М.: МЭСИ, 1999. - с.33-42.

95. Тарасов, В.Б. Агенты, многоагентные системы, виртуальные сообщества: стратегическое направление в информатике и искусственном интеллекте// Новости искусственного интеллекта. 1998. -№2. - с.5-63.

96. Тарасов, В.Б. Восходящее и нисходящее проектирование много-агентных систем // Труды международной конференции «Проблемы управления и моделирования в сложных системах» (Самара, 14-18 июня 1999) . Самара: Самарский научный центр РАН, 1999. - с.68-82(10)

97. Тарасов, В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. Изд.: Едиториал УРСС, 2002. -352с.

98. Тархов, Д.А. Нейронные сети как средство математического моделирования. Изд.: Радиотехника, 2006. 48с.

99. Томсон, JI. Разработка Web-приложений на PHP и MySQL / JI. Том-сон, Л. Веллинг-К.: "ДиаСофт", 2001. 672с.

100. Троелсен, Э. С# и платформа .NET. Библиотека программиста. -СПб.: Питер, 2007. 796с.

101. Туманов, В.Е. Проектирование реляционных хранилищ данных / В.Е. Туманов, C.B. Маклаков Изд.: Диалог-МИФИ, 2007. - 336с.

102. У сков, A.A. Интеллектуальные системы управления на основе методов нечеткой логики / A.A. Усков, В.В. Круглов Смоленск: Смоленская городская типография, 2003. - 177с.

103. Уськов, A.A. Интеллектуальные технологии управления. Искусственные нейронные сети и нечеткая логика / A.A. Уськов, A.B. Кузьмин М.: Горячая линия - Телеком, 2004. - 144с.

104. Флэнаган, Д. JavaScript. Подробное руководство. Изд.: Символ-Плюс, 2008. 992с.

105. Фоменков, С.А. Математическое моделирование системных объектов / С.А. Фоменков, Д.А. Давыдов, В.А. Камаев: Учебное пособие (с грифом УМО объединения вузов по университетскому политехническому образованию). Волгоград: ВолгГТУ, 2006. - 180с.

106. Хорошевский, В.Ф. Базы знаний интеллектуальных систем. / В.Ф. Хорошевский, Т.А Гаврилова СПб.: Питер, 2000. - 384 е.: ил.

107. Черноруцкий, И.Г. Методы принятия решений. СПб.: БХВ-Петербург, 2005.-416с.

108. Яншин, В.В. Анализ и обработка изображений: принципы и алгоритмы: учеб. пособие для вузов. М.: Машиностроение, 1995. - 112с.

109. Яргер, P. MySQL и mSQL. Базы данных для небольших предприятий и Интернета / Р. Яргер, Дж. Риз, Т. Кинг СПб: Символ-Плюс, 2000. - 560с.

110. Ярушкина, Н.Г. Основы теории нечетких и гибридных систем. Учебное пособие. Финансы и статистика, 2004. 320с.

111. Яхъяева, Г.Э. Нечеткие множества и нейронные сети / Г.Э. Яхъяева. М.: Интернет-Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2010. - 320с.

112. ANSI/NISO Z39.19 ANSI/NISO Z39.19 2005 Guidelines for the Construction, Format, and Management of Monolingual Controlled Vocabularies, 2005.

113. Barbuceanu, M. The Architecture of Agent Building Shell / M. Barbucea-nu, M.S. Fox // Lectures Notes in AI. Vol. 1037. Intelligent Agents II / Ed. by M. Wooldridge, J.-P. Mueller, M. Tambe. Berlin: Springer Verlag, 1996.(5)

114. Bar-Yossef, Z. Template Detection via Data Mining and its Applications /Z. Bar-Yossef, S. Rajagopalan // In Proceedings of WWW2002, May 7-11, 2002, Honolulu, Hawaii, USA.

115. Bradski, G. Learning OpenCV / G. Bradski, A. Kaehler Publisher: O'Reilly Media, Inc., 1005 Gravenstein Highway North, Sebastopol, CA 95472, 2008, pp. 555.

116. Brin, S. The Anatomy of a Large-Scale Hypertextual Web Search Engine / S. Brin, L. Page Сотр. Networks and ISDN Syst., V. 30, 1-7, 1998, pp. 107-117.

117. FIPA98 Specifications. Part 12. Ontology Service: http://www.cset.it/(l 1)

118. Gupta, S. Automating Content Extraction of HTML Documents / S. Gupta, G. Kaiser, P. Grimm // World Wide Web Journal, January 2005.

119. Horrocks, I.R. Digital Libraries and Web-Based Information Systems/ I.R. Horrocks, D.L. McGuinness, C.A. Welty. The Description Logic Handbook: Theory, Implementation, and Applications pp.427-449, 2003.

120. Inmon, W. Building the Data Warehouse. New York : John Willey & Sons, 1992.

121. Bryan, K. The $ 25,000,000,000 Eigenvector: The Linear Algebra behind Google / K. Bryan, T. Leise SI AM Review, V. 48, No. 3, 2006, pp. 569-581.

122. Knowledge Interchange Format URL: http://www.csee.umbc.edu/kif/ (дата обращения: 24.09.2011)

123. Knowledge Query and Manipulation Language URL: http://www.cs.umbc.edu/kqml/ (дата обращения: 24.09.2011)

124. Kumar, R. Hierarchical topic segmentation of websites / R. Kumar, K. Punera, A. Tomkins // Publisher: ACM Press, 2006. Pages: 257-266.

125. Langville, A.N. Google's PageRank and Beyond: The Science of Search Engine Ranking / A.N. Langville, C.D. Meyer Princeton University, 2006.

126. Mahabhashyam, M. A Meta search engine and Evaluation of ranking strategies / M. Mahabhashyam, P. Singitham Stanford University - University Library-2010.

127. Meng, W. Building efficient and effective metasearch engines / W. Meng, C. Yu, K.L. Liu // ACM Comput. Surv. 2002. - V. 34, No 1. - pp.48-89.

128. Noy, N. Ontology Development 101: A Guide to Creating Your First Ontology / N. Noy, D. McGuinness. Stanford Knowledge Systems Laboratory Technical Report KSL-01-05 and Stanford Medical Informatics Technical Report SMI-2001-0880, March 2001.

129. Page, L. The PageRank Citation Ranking: Bringing Order to the Web / L. Page, S. Brin, R. Motwani, T. Winograd 1998.

130. Ramaswamy, L. Automatic Detection of Fragments in Dynamically Generated Web Pages / L. Ramaswamy, A. Iyengar, L. Liu // In Proceedings of the 13th International World Wide Web Conference (WWW2004), New York City, May 2004.

131. Reinschmidt, J. Business Intelligence Certification Guide. IBM Red books. / J. Reinschmidt, A. Françoise

132. W3C Semantic Web. URL: http://www.w3.org/2001/sw/ (дата обращения: 24.09.2011).