Инструментальная поддержка распределенного обучения и принятия решений в открытых сетях агентов тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Серебряков, Сергей Валерьевич

• Серебряков, Сергей Валерьевич
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Серебряков, Сергей Валерьевич

Содержание.

Введение.

Глава 1. Обоснование актуальности работы и постановка задач исследования.

1.1 Введение.

1.2 Методы распределённого обучения и принятия решений.

1.2.1 Иерархические методы.

1.2.2 Методы объединения решений на основе парных взаимодействий.

1.3 Агентские технологии.

1.3.1 Абстрактная архитектура платформы агентов, разработанная БЕРА.

1.3.2 Обзор существующих агентских платформ.

1.4 Технологии парного взаимодействия и их приложения.

1.5 Выводы: Формулировка цели и задач исследований.

Глава 2. Инструментальная поддержка процессов обучения агентов распределенному принятию решений в иерархической структуре.

2.1 Архитектура системы.

2.2 Компоненты программной инфраструктуры для поддержки локального и распределённого вариантов обучения и принятия решений и их использование в процессе разработки приложений.

2.3 Базовые модели программной реализации иерархических систем объединения решений.

2.4 Пользовательский режим.

2.5 Выводы.

Глава 3. Р2Р агентская платформа.

3.1 Введение и мотивация.

3.2 Функциональная архитектура Р2Р агентской платформы, предложенная

3.3 Общее описание разработанной реализации Р2Р АП.

3.4 Уровень Р2Р коммуникационного сервиса.

3.5 Функциональность агентской платформы.

3.5.1 Сервис «Белые страницы».

3.5.2 Сервис «Жёлтые страницы».

3.5.3 Коммуникации агентов.

3.6 Виртуальная среда эмуляции динамических Р2Р сетей.

3.7 Выводы.

Глава 4. Р2Р машинное обучение и экспериментальные разработки многоагентных Р2Р систем принятия решений.

4.1 Итеративный Р2Р метод машинного обучения.

4.1.1 Особенности процедур принятия решений в Р2Р сетях классификаторов.

4.1.2 Алгоритм формирования коалиции на основе механизма Р2Р обучения.

4.2 Р2Р система обнаружения вторжений в компьютерную сеть.

4.3 Система обнаружения наземных объектов распределенной аппаратурой наблюдения.

4.4 Р2Р сенсорная сеть для прогнозирования появления океанского течения EINino.

4.5 Выводы.

Введение диссертации (часть автореферата) на тему «Инструментальная поддержка распределенного обучения и принятия решений в открытых сетях агентов»

Актуальные направления развития современных информационных технологий в настоящее время во многом определяются требованиями практики и, прежде всего, прикладными проблемами, которые принято называть критическими. Среди них особое место занимают проблемы распределенного принятия решений. К таким проблемам относятся, например, мониторинг, анализ и предсказание развития глобальных природных процессов, среди которых особо выделяются проблемы экологической безопасности, проблемы анализа, прогноза и управления снижением вредных и опасных последствий стихийных бедствий (землетрясений, ураганов, цунами, пожаров и др.) и техногенных катастроф. Системы поддержки принятия решений в таких приложениях используют пространственно распределенные сенсорные сети [108], сети передачи данных, средства хранения и обработки данных, средства визуализации данных и результатов их обработки и т.п. Такие системы предъявляют специфические, причем, обычно очень жесткие, требования к информационным технологиям, которые могли бы справиться с их практической (программной, аппаратной) реализацией.

Аналогичные требования диктуются актуальными современными приложениями из ряда других предметных областей. Например, задачи управления в области мобильных телекоммуникаций, управления мобильными вычислениями, в частности, задачи управления сетевым трафиком в мобильных сетях [63,67], предъявляют во многом сходные требования к информационным технологиям. В этих приложениях данные, используемые для управления, также генерируются огромным количеством источников, причем эти данные являются гетерогенными и существенно зависят от времени. Для них характерно, что сами источники данных могут появляться в сети и исчезать из нее в любой момент времени. Аналогичная ситуация имеет место в области компьютерной безопасности [55,57]. Здесь также необходимо проводить мониторинг, анализ и принятие решений на основе множества распределенных источников данных, генерирующих огромный объем данных высокой динамики. Много подобных задач возникает в области военных приложений, например, при разработке систем оперативного анализа обстановки на тактических театрах военных действий на основе обработки данных, получаемых с помощью территориально распределенных сенсорных сетей [13], в задачах оперативной обработки информации, получаемой с помощью распределенной системы наблюдения, развернутой на множестве беспилотных летательных аппаратов [1] и многих других.

Для перечисленных и других аналогичных приложений общими характерными чертами, которые оказывают первостепенное влияние на требования к современным информационным технологиям и на тенденции их развития, являются следующие:

1. Сетевая архитектура объектов- приложения и, соответственно, программных компонент результирующей системы, которая характеризуется огромным количеством узлов и динамичностью связей между ними.

2. Большое число источников данных, которые генерируют огромные потоки данных. Эти данные зачастую технически невозможно собирать и хранить централизованно с целью последующего использования в задачах анализа и принятия решений. Если для программной реализации таких приложений принять архитектуру с использованием централизованной обработки, то дополнительно к большому объему памяти хранилища данных, необходимо будет еще обеспечить каналы связи огромной пропускной способности и вычислительные средства практически нереальной производительности.

3. Динамичный состав узлов сети. Действительно, мобильные устройства могут включаться и выключаться, узлы сенсорной сети могут выходить из строя и прекращать работу из-за истощения источников энергии. Беспилотные летательные аппараты, формирующие распределенную систему наблюдения, могут прекращать свое существование в любой момент времени вследствие противодействия. В компьютерной сети могут включаться в работу и

5 ' выключаться различные приложения, могут включаться и выключаться мобильные вычислительные устройства и т.п. По этим причинам в большинстве случаев сети с архитектурой типа «клиент-сервер» могут оказатьсягнепригодными в рамках рассматриваемого класса приложений. . 4. Конфиденциальность, данных, отдельных источников. Данные могут носить коммерческий характер, попадать под понятие военной- или, государственной тайны и т.п., когда централизованная! обработка исключается организационными причинами:

5. Автономность задач, решаемых программными сущностями, установленными в различных узлах сети, что, тем не менее, сопровождается необходимостью координации их поведения или в интересах кооперации, или в связи с необходимостью использования общих ограниченных ресурсов; или по каким-либо еще другим причинам. На практике это часто требует формирования временных сообществ (коалиций) узлов сети и/или установленных на них программных сущностей, объединяемых необходимостью кооперации или координации. Ввиду большого количества узлов сети и динамичности ее состава и топологии задача формирования; необходимых коалиций должна решаться, как правило, в режиме реального времени.

6. Гетерогенность операционной среды, в которой функционируют программы, установленные в различных узлах сети. Например, в мобильной вычислительной (коммуникационной) среде различные узлы могут работать под управлением различных операционных систем,, например, под управлением MS Windows^ Linux, Symbian и т.п. Это требует поддержки. межплатформенного взаимодействия (interoperability) программ, установленных в узлах сети.

В настоящее время не существует информационной технологии, которая была бы в состоянии полностью справиться с разработкой систем, для которых характерны перечисленные выше свойства, однако ведутся интенсивные исследования в этом направлении. Анализ потенциальных возможностей современных информационных технологий, способных справиться с разработкой распределенных систем принятия решений описанного выше типа, показывает, что наибольшими перспективами в этом отношении обладают технологии, которые могут быть построены интеграцией возможностей следующих технологий и архитектур:

- Технология распределенного машинного обучения и принятия решений. За счет распределенного характера эта технология дает возможность сместить основной объем вычислений по обработке данных, обучению и принятию решений на уровень источников данных, а интегральное (объединенное) решение при этом может быть построено объединением локальных решений с использованием метаправил, построенных на основе процедур метаобучения. При этом могут использоваться как иерархические модели и архитектуры объединения решений, когда для этой цели выделяется специально выделенный решатель, так и модели «горизонтальной» архитектуры, когда для объединения решений отдельный решатель не выделяется. В последнем случае эта процедура может выполняться каждым из локальных решателей, который, когда это ему необходимо, должен обращаться к другим локальным решателям, запрашивая необходимую информацию. Технология распределенного принятия решений позволяет существенно снизить загрузку коммуникационных каналов и повысить вычислительную эффективность системы в целом за счет декомпозиции процедур обработки данных [56];

- Технология многоагентных систем, которая оказывается чрезвычайно удачной для концептуализации проблем рассмотренного выше типа, поскольку эти проблемы допускают естественную декомпозицию. Использование технологии многоагентных систем должно позволить упростить концептуализацию крупномасштабных приложений, обеспечить модульность программного продукта, а также упростить программную реализацию за счет новых возможностей, которые предоставляет разработчикам парадигма агентно-ориентированного программирования [56];

- Архитектура, ориентированная на сервис. Использование понятия «сервиса», в частности, «веб-сервиса» открывает возможность решения одной из ключевых проблем современных открытых систем, а именно, проблемы семантического поиска программных сущностей, данных и функциональностей при динамическом составе узлов сети. Имеющиеся теоретические и технологические достижения в этой области в состоянии обеспечить существенный прорыв в формализации семантики сервисов и поддержку процедур распределенного семантического поиска сервисов. В свою очередь, эти новые возможности могут сформировать теоретический и алгоритмический базис для построения открытых систем. В таких системах активные программные сущности сети (агенты) смогут кооперироваться при минимуме начальной информации о топологии сети, об агентах, присутствующих в ней, и о сервисах, которые агенты в состоянии предоставлять друг другу, получая необходимую информацию путем запросов [114];

- Вычисления на основе парных взаимодействий (Реег4о-Реег, Р2Р-взаимодействий), которые могут использоваться как на транспортном уровне, так и на уровне программных сущностей (например, агентов). Значительные достижения в этой области открывают многообещающие перспективы для реализации вычислений, в частности, для принятия решений в системах, построенных на основе сетей мобильных устройств с динамическим составом узлов и топологией связей между ними [108].

В настоящее время интерес исследователей к интеграции этих направлений постоянно растет. Например, в работе [77] рассматривается задача композиции веб-сервисов на основе агентской технологии, когда множество агентов образует оверлейную сеть, устанавливаемую поверх Р2Р сети, отвечающей за коммуникации и поиск сервисов и агентов. Такая интеграция предоставляет агентам возможность «прозрачного» взаимодействия друг с другом, абстрагируясь от нижележащей коммуникационной инфраструктуры. Однако этот подход дает решение, которое не может быть использовано без изменений для различных приложений, что ведет к нарушению одного из основных требований к организации прозрачного взаимодействия агентов, а именно, требования независимости от приложений. Последнее существенно необходимо для обеспечения повторного использования инфраструктуры, поддерживающей взаимодействие агентов. Однако решение, предложенное в этой работе, подсказывает возможный вариант интеграции технологии агентов, Р2Р парадигмы вычислений и архитектуры, ориентированной на сервис, что приводит к более совершенной информационной технологии и новым возможностям.

Проведенный анализ существующих информационных технологий показывает, что в настоящее время в данной области пока еще отсутствуют эффективные решения, которые могли бы сформировать информационную технологию, способную эффективно справиться с разработкой приложений, основные черты которых описаны выше, а примеры приведены ранее. Необходимость такой информационной технологии и актуальность исследований, направленных на ее создание, подтверждаются как практическими потребностями современной индустрии программного продукта, так и тем большим вниманием, которое уделяется в настоящее время этой проблеме со стороны мирового сообщества исследователей в области информационных технологий.

Основной целью данной работы является разработка базовых решений, направленных на такую интеграцию перечисленных выше направлений в области информационных технологий, которая позволила бы построить технологию открытых сетей агентов для разработки и программной реализации систем распределенного принятия решений в крупномасштабных приложениях сетевой архитектуры, в которых состав узлов сети и ее топология могут динамически изменяться. Для достижения сформулированной цели в работе ставятся и решаются перечисленные ниже конкретные задачи:

- Разработка методической и инструментальной поддержки процессов создания систем распределенного обучения и распределенного принятия решений в открытых сетях агентов, функционирующих как в иерархической, так и в Р2Р архитектурах объединения решений в условиях динамичности топологии сети и состава ее узлов. Решение этой задачи должно сформировать методические основы, алгоритмический базис и средства разработки систем распределенного принятия решений в условиях, когда состав решателей и структура их связей могут изменяться;

- Разработка программной инфраструктуры, называемой далее Р2Р агентской платформой (Р2РАП), поддерживающей «прозрачное» семантическое взаимодействие распределенных интеллектуальных агентов, установленных в узлах сети, предназначенных для принятия решений на основе множества распределенных источников данных. Р2Р агентская платформа имеет целью обеспечить полное разделение сети прикладных агентов (агентов принятия решений на основе распределенных источников данных) и сети провайдеров Р2Р коммуникационного сервиса. Термин «полное разделение сети прикладных агентов и сети провайдеров Р2Р коммуникационного сервиса» означает, что прикладные агенты могут не содержать знаний о том, как реализуются их семантические запросы на поиск сервисов в сети, а провайдеры коммуникационного сервиса могут не знать, запросы каких именно агентов они пересылают. Кроме того, эта платформа должна обеспечить взаимодействие гетерогенных прикладных агентов («интероперабельность» гетерогенных агентов), работающих, возможно, под управлением различных операционных систем.

- Экспериментальная проверка основных решений, полученных в работе, на основе программного прототипирования приложений, решающих задачи распределенной классификации и распознавания в сетях со множеством распределенных источников данных, в которых состав узлов и топология их связей могут изменяться.

В первой главе приводится детальный обзор состояния исследований в ряде разделов современной информационной технологии, которые с точки зрения автора данной работы являются наиболее перспективными для построении информационной технологии, пригодной для практического решения задач, сформулированных в работе. К таким разделам отнесены (1) исследования в области распределённого принятия решений и обучения распределенному принятию решений, в частности, обучения и принятия решений в Р2Р сетях; (2) исследования в области агентских платформ (инфраструктур) для поддержки совместного функционирования разнородных агентов и (3) исследования в области инфраструктур, предназначенных для поддержки парного (Р2Р) взаимодействия агентов. В данной главе даются обзоры современного состояния исследований в указанных разделах информационных технологий.

В частности, в • ней анализируются известные методы распределённого принятия решений, построенные на основе иерархических моделей, а также методы, использующие принцип парных (Р2Р) взаимодействий распределенных решателей, когда какая-либо иерархия в процессе распределенной выработки решений отсутствует. Среди методов первой группы анализируются методы, основанные на правиле Байеса и его упрощениях, методы, основанные на оценке компетентности распределенных классификаторов и методы, основанные на принципе стекового обобщения. Во второй группе методов рассматриваются общие принципы построения алгоритмов извлечения знаний из распределенных данных с использованием парных взаимодействий решателей (но не методов машинного обучения принятию решений в Р2Р сетях, поскольку, исследования в этом направлении, насколько известно автору, практически отсутствуют). Рассматриваются также некоторые конкретные Р2Р алгоритмы извлечения знаний из распределенных данных, а именно, точный алгоритм распределенного голосования и приближённый алгоритм кластеризации по методу Är-средних. Эти алгоритмы являются типовыми для Р2Р методов извлечения знаний, поскольку использованные в них базовые принципы применимы и для ряда других задач извлечения знаний в Р2Р сетях.

При анализе инфраструктур, поддерживающих совместную работу агентов (как в иерархической, так в Р2Р архитектурах), описывается абстрактная архитектура платформы агентов, предложенная FIPA1 [45]. Эта архитектура и соответствующая ей программная реализация, называемая FIPA OS, являются* де-факто стандартами в агентских приложениях. Дается также обзор существующих реализаций агентских платформ, в той или иной степени соответствующих спецификациям FIPA.

Приводится краткий анализ решений, предложенных в области, организации Р2Р взаимодействий в компьютерных сетях. Дается краткое описание и анализ возможностей инфраструктур JXTA и Microsoft Windows P2PN.

На. основании приведенного анализа обосновываются и формулируются основная цель исследований данной работы, а также основные конкретные задачи, решаемые в ней для достижения поставленной цели.

Во второй главе детально описывается инструментальная среда, предназначенная для быстрого создания программ обучения алгоритмов объединения решений в иерархических моделях. Рассматривается архитектура созданной инструментальной системы, дается описание её компонент, а также описание вариантов практического использования системы в пользовательском (графическом) и агентском (автоматическом) режимах. Дается описание типового сценария обучения объединению решений, а также описываются его

1 FIPA — Foundation for Interaction of Physical Agents — общественная организация, созданная специалистами для разработки научно обоснованных предложений по стандартизации языков, моделей, интерфейсов и т.п в области многоагентных систем. В настоящее вермя многие документы FIPA рассматриваются индустриальными компаниями в качестве стандарта. модификации применительно к различным методам объединения решений в символьном и в нейросетевом вариантах решения задач обучения и принятия решений.

Третья глава содержит описание разработанной Р2Р агентской платформы, которая формирует программную среду (инфраструктуру) для совместного функционирования прикладных агентов. В ее основу положена функциональная архитектура, предложенная рабочей группой FIPA NA WG (Nomadic Agents Working Group). Дается описание общей архитектуры разработанной Р2Р агентской платформы, её трёхуровневой модели, а также описание разработанных компонент, сервисов и интерфейсов. Описывается также разработанная реализация коммуникационного сервиса, названного провайдером пира, который поддерживает Р2Р технологию обмена сообщениями между агентами. Поскольку в настоящее время этот уровень не стандартизирован, далее в данной работе используется провайдер пира, разработанный автором. Описывается также функциональность среднего уровня, которая по существу и является той компонентой инфраструктуры, поддерживающей Р2Р взаимодействие прикладных агентов, которая называется Р2Р агентской платформой. Рассматриваются такие её составляющие, как сервисы белых и жёлтых страниц, реализующие функции управления обменом сообщений между агентами, а также функции распределенного поиска агентов и сервисов. Описывается виртуальная эмуляционная Р2Р среда, представляющая собой специализированный программный продукт, предназначенный для тестирования, верификации, отладки и анализа поведения реальной агентской распределённой системы ' в виртуальной Р2Р среде, топология которой может изменяться во времени.

Четвёртая глава анализирует принципы построения и особенности алгоритмической реализации процедур Р2Р машинного обучения, а также представляет схему разработанного алгоритма обучения принятию решений и самого алгоритма принятия решений в Р2Р сети агентов (в «горизонтальной» архитектуре объединения решений). Следует отметить, что разработанный алгоритм машинного обучения принятию решений в Р2Р сетях является первым алгоритмом такого назначения (ранее разработанные алгоритмы касались только процедур извлечения некоторых потенциально полезных знаний из данных, хранящихся в Р2Р сетях, когда вопрос о дальнейшем использовании полученных знаний не рассматривается). В главе приводятся также результаты комплексных экспериментальных исследований основных результатов работы, основанных на симуляции функционирования программных прототипов конкретных приложений Р2Р систем распределенного принятия решений, построенных с использованием Р2Р агентской платформы, алгоритмов и инструментальных средств поддержки технологии иерархического и Р2Р обучения и принятия решений, предложенных в данной работе (см. главы 2, 3). В частности, разработаны программные прототипы для следующих приложений:

1. Р2Р система обнаружения и распознавания наземных объектов по данным распределенной системы наблюдения, компоненты которой (камеры, регистрирующие инфракрасные изображения) установлены на беспилотных летательных аппаратах, которые используют беспроводную связь для обмена информацией в процессах распределенного обнаружения и распознавания наземных объектов заданных классов.

2. Интеллектуальная сенсорная сеть, решающая задачу мониторинга обширной области Тихого океана с целью раннего обнаружения и предсказания развития течения El Nino. Данная сеть реально работает с начала 1980-х годов. Сенсоры этой сети установлены в экваториальной зоне от берегов Австралии до берегов Центральной Америки на пространственно распределенных буях. Интерпретированные данные, собранные этой сетью в период 1985-1998 г.г., доступны через сеть Интернет. Они использованы в качестве входа для моделирования процессов обработки данных, собираемых сетью, с помощью распределенной Р2Р сети автономных агентов, которые имеют возможность обмениваться информацией (результатами обработки данных локальных источников) для вычисления осредненных характеристик среды, что позволяет резко сократить нагрузку на каналы связи и вычислительную ело лен ость решения задачи в целом.

3. Система обнаружения вторжений и неправомерной деятельности пользователей в компьютерной сети, состоящей из гетерогенных устройств. Эта система функционирует на основе парных взаимодействий агентов, установленных на различных экземплярах Р2Р агентской платформы. Агенты используют локальную информацию, а также решения других агентов для решения вышеназванной задачи. С точки зрения методологии решения, данная задача аналогична двум предыдущим. Однако особенность ее состоит в том, что дополнительно решается задача обучения, которая позволяет каждому агенту формировать коалицию агентов, информация от которых наиболее полезна для принятия собственного решения. Иначе говоря, в рамках этого приложения каждый агент, используя разработанный распределенный Р2Р алгоритм машинного обучения, может формировать список своих контактов, включая в него, по мере обучения, агентов, которые способны поставлять ему наиболее полезную информацию, и исключать из него менее полезных или вообще бесполезных агентов. Заметим, что данная задача является задачей само-конфигурирования сети прикладных агентов (формирования каждым узлом сети прикладных агентов списка своих виртуальных соседей) с помощью Р2Р алгоритмов машинного обучения.

Отметим, что для первых двух приложений использовались реальные данные, а для последней задачи данные были сгенерированы искусственно.

В заключении по работе приводятся основные выводы, а также оценивается их применимость для разработки реальных приложений тех классов, которые описаны в начале данной главы.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Серебряков, Сергей Валерьевич

Основные результаты работы заключаются в следующем:

1. Проведён обзор методов распределённого обучения и принятия решений. На основании анализа известных результатов сделан вывод о том, что в настоящее время хорошо развиты методы принятия решений, основанные на иерархическом принципе. Однако современные технологии распределенного принятия решений в открытых сетях агентов диктуют необходимость разработки Р2Р методов принятия решений, когда на множестве решателей системы отсутствует иерархия. Это направление получило развитие совсем недавно, а имеющиеся в этой области результаты носят частный характер. Они пока не в состоянии справиться с новыми задачами распределенного принятия решений, которые выдвигаются современными приложениями, например, с задачами принятия решений на основе территориально распределенных беспроводных сенсорных сетей, принятия решений в мобильных сетях и в ряде других важных приложений. Материалы обзора опубликованы в работах [5,6], а также представлены в параграфе 1.2.

2. Проведён обзор существующих агентских платформ. Большинство разработанных агентских платформ соответствует стандартам FIPA [48] и реализовано на языке программирования JAVA. Большинство из платформ поддерживает распределённое функционирование, однако взаимодействие между экземплярами платформ осуществляется в статическом режиме, т.е. отсутствует возможность динамического появления новых экземпляров платформ в сети. Существенный недостаток имеющихся разработок в области межплатформенных коммуникаций состоит в том, что в них уровень платформы не отделяется от уровня коммуникаций, что исключает возможность стандартизации платформы и ее повторное использование в различных приложениях. Материалы обзора опубликованы в работе [12], а также представлены в параграфе 1.3.

3. Разработана инструментальная программная среда для поддержки процессов распределенного обучения и принятия решений в иерархической архитектуре. На основании проведенного анализа различных схем и систем обучения выделены повторяющиеся компоненты, к которым относятся, например, интерфейсы к источникам данных, фильтры данных, алгоритмы принятия решений и алгоритмы их обучения и другие, которые используются в разработанном инструментарии в качестве компонент. Разработанная инструментальная среда является компонентной. Каждая компонента реализует некоторую логику вычислений и взаимодействия, и может быть связана с одной или несколькими другими компонентами. Такое связывание позволяет организовывать различные схемы функционирования и обмена данными. Создание таких схем может выполняться либо вручную с использованием языка программирования С++, либо через специализированное ядро, которое позволяет связывать компоненты в автоматическом режиме. Разработанная среда и её компоненты значительно ускоряют процессы создания конкретных систем обработки и анализа данных. Эта технология использовалась при реализации агентских приложений, рассмотренных в главе 4 данной работы, а также материалы главы докладывались на конференции АОМ1 2007 и опубликованы в трудах данной конференции.

4. Разработан и программно реализован провайдер пира. Под провайдером пира понимается специализированное программное обеспечение, способное формировать Р2Р оверлейную сеть коммуникаций поверх узлов существующей коммуникационной сети. Разработанный провайдер пира реализует коммуникационные функции посредством создания коммуникационных каналов между экземплярами провайдеров пиров поверх протокола TCP/IP. Фактически, разработанный провайдер пира является облегчённой версией аналогичного провайдера, разработанного в инфраструктуре JXTA [70]. Необходимость в разработке облегчённой версии провайдера пира обусловлена тем, что на сегодняшний момент существуют различные технологии организации программной Р2Р сети (JXTA, WP2PN [66] и ряд других), и не существует единого стандарта. Автор данной работы попытался обобщить общие свойства существующих программных продуктов, и создать прообраз «стандартного» интерфейса провайдера пира. Вообще говоря, основная функция провайдера пира состоит в том, что он обеспечивает коммуникационный сервис между распределенными экземплярами разработанной агентской платформы. Более подробная информация представлена в главе 3, а также опубликована в работах [11,60].

5. Разработана и реализована Р2Р Агентская Платформа. Агентская Платформа является средой функционирования агентов, которая предоставляет им определённые сервисы. Архитектура и программная реализация разработанной платформы полностью соответствует спецификациям FIPA. На нижнем уровне экземпляры платформ используют разработанный автором провайдер пира (см. предыдущий абзац), обеспечивающий коммуникационный сервис экземплярам агентских платформ. Отделение уровня оверлейной сети экземпляров Р2Р агентской платформы от уровня коммуникационного сервиса обеспечивает полную независимость платформы от нижележащей сетевой инфраструктуры, будь то или проводная связь по протоколу TCP/IP или UDP, или беспроводная связь WiFi или что-то другое, что уже существует или будет предложено. Разработанная платформа поддерживает такие сервисы, как управление жизненным циклом агентов, управление описанием агентских сервисов и коммуникации между агентами. Отметим, что разработанная Р2Р агентская платформа является первой в мире разработкой, которая полностью соответствует спецификациями FIPA, которая поддерживает Р2Р коммуникации между своими экземплярами, а также реализует динамически пополняемую единую распределённую базу агентов и их сервисов. Данный результат детально опубликован в [10,11,54,60,61], а также описан в главе 3.

6. Разработан, реализован программно и исследован экспериментально итеративный Р2Р алгоритм обучения объединению решений и принятия решений в открытых сервисных сетях агентов, которые взаимодействуют на основе парных взаимодействий. Следует отметить, что на сегодняшний день исследования в области Р2Р анализа и обработки данных в открытых Р2Р сетях агентов с динамической топологией находятся в стадии начального исследования, а известные здесь алгоритмы, в основном, имеют целью вычисление некоторых математических примитивов, таких как максимум - и минимум, сумма и т.п. Известен также Р2Р алгоритм распределённой кластеризации по методу /с-ближайших соседей. Алгоритм, предложенный в работе, обобщает различные известные алгоритмы обучения объединению решений и принятия решений на случай открытых Р2Р сетей. Фактически этот алгоритм задает множество различных реализаций алгоритма, к которых могут изменяться его составляющие и атрибуты. К ним относятся конкретные алгоритмы обучения базовых классификаторов, алгоритмы объединения решений и ряд других. Они задаются разработчиком. Такая модульность обеспечивается не только структурой самого алгоритма, но также и используемой инфраструктурой поддержки обучения и принятия решений, предложенной в работе и описанной в главе 2. Описание данного алгоритма представлено в главе 4, а также в публикациях [10,59].

7. Разработана виртуальная эмуляционная Р2Р коммуникационная среда для экспериментального исследования готовых Р2Р агентских приложений, позволяющая тестировать, верифицировать, и оценивать свойства программной реализации распределённого агентского приложения в виртуально распределённой Р2Р коммуникационной среде.

8. Разработан генератор топологии сети, т.е. специальное программное инструментальное средство автоматической генерации конфигурационных файлов для экземпляров агентских платформ и Р2Р провайдеров узлов сети с целью создания Р2Р сетей агентов требуемой топологии.

Разработанные инструментальные средства и алгоритмы в данной диссертационной опираются, в основном, на работы [39,47,48]. Практическая значимость диссертационной работы заключается в том, что её результаты могут быть использованы для построения реальных многоагентных систем, предназначенных для распределённой обработки распределённых гетерогенных данных. Такие задачи возникают в распределённых динамических телекоммуникационных сетях, сетях распределённых интеллектуальных сенсоров и во многих других классах приложений. Для некоторых из таких классов приложений разработаны программные прототипы, описанные в главе 4. Апробация полученных результатов проводилась на 6 научно-технических конференциях. Основные результаты, полученные автором, опубликованы в 8 научных работах.

Заключение

В данной работе решается задача разработки методов, алгоритмов, программных инструментальных средств и промежуточного программного обеспечения (программной инфраструктуры), которые при их совместном использовании формируют прототип информационной технологии, поддерживающей эффективную реализацию открытых Р2Р сетей агентов для распределенного принятия решений.

Список литературы диссертационного исследования кандидат технических наук Серебряков, Сергей Валерьевич, 2008 год

1. Беспилотные авиационные системы Электронный ресурс. / Электрон, дан. [Б. м. : б. и.], 2007. - Режим доступа: http://www.avia.ru/author/03.shtml, свободный. - Загл. с экрана.

2. Бешелев, С. Д. Экспертные оценки / С. Д. Бешелев , Ф. Г. Гурвич. -М. : Наука, 1973.

3. Воробьев, Н. Н. Вопросы математизации принятия решений на основе экспертных оценок / Н. Н. Воробьев. // Материалы IV симпозиума по кибернетике. Б. м. : б. и., 1972. -Ч. 3. - С. 47-51.

4. Глушков, В. М. О прогнозировании на основе экспертных оценок / В. М. Глушков // Кибернетика. Б. м. : б. и., 1969. - № 2. - С. 2-4.

5. Городецкий, В. И. Многоагентные системы (обзор) / В. И. Городецкий, М. С. Грушинский, А. В. Хабалов // Новости искусственного интеллекта. Б. м. : б. и., 1998. - № 2.

6. Городецкий, В. И. Многоагентные системы: основные свойства и модели координации поведения / В. И. Городецкий. // Информационные технологии и вычислительные системы.

7. Б. м. : б. и., 1998 , -№> 1. С. 22-34.

8. Городецкий, В. И. Многоагентные системы: современное состояние и перспективы применения / В. И. Городецкий // "Новости искусственного интеллекта". Б. м. : б. и., 1996. -№ 1. - С. 49-55.

9. Городецкий, В. И. Открытые сети агентов / В.И.Городецкий, О. В. Карсаев, В. В. Самойлов и др. // Известия РАН. Теория и Системы Управления. Принято к публикации в 2008 году.

10. Городецкий, В. И. Открытые сети агентов / В.И.Городецкий, О. В. Карсаев, В. В. Самойлов и др. // Труды СПИИРАН / РАН С.Петербург. Институт информатики и автоматизации / Под общ. Ред. Р.М. Юсупова. -Спб: Наука, 2007. Вып. 3. - Т. 1. - С. 22-23.

11. Городецкий, В. И. Отчёт о патентных исследованиях по теме РАЗРАБОТКА ИНСТРУМЕНТАЛЬНОЙ СРЕДЫ ДЛЯ СОЗДАНИЯ ПРИКЛАДНЫХ МНОГОАГЕНТНЫХ СИСТЕМ / В. И. Городецкий, Л. А. Станкевич, В. Г. Конюший и др.. [Б. м. : б. и.], 2007.

12. Интернет будущего: беспроводные сенсорные сети Электронный ресурс. / Электрон, дан. [Б. м. : б. и.], 2007. - Режим доступа: http://www.noviyegrani.com/archivesshow.php?ID=145&ISSUE=2, свободный. - Загл. с экрана.

13. Комарцова, Л. Г. Нейрокомпьютеры: Учеб. Пособие для вузов / Л. Г. Комарцова, А. В. Максимов. М.:Изд-во МГТУ им. Н.Э. Баумана, 2002.-С. 320.

14. Кришнан, Н. ХХТА решения для Р2Р Электронный ресурс. / Н. Кришнан. Электрон, дан. [Б. м. : б. и.], 2007. - Режим доступа: <ww.javable.eom/javaworld/1001/01/#%3F%3F%3F%3F%3F%3F%3F %ЗР%ЗР+ДХТА, свободный. - Загл. с экрана.

15. Ли, Г. Почему ХХТА Электронный ресурс. / Г. Ли. Электрон, дан. -[Б. м.: б. и.], 2007. Режим доступа:www.javable.com/columns/P2P/solutions/03/, свободный. Загл. с экрана.

16. Льюс, Р. Игры и решения / Р. Льюс, X. Райфа. М. : ИЛ, 1961.

17. Математические методы в социальных науках / под ред. Лазарфельда П. и Генри Н. М. : Наука, 1973.

18. Миркин, Б. Г. Проблема группового выбора / Б. Г. Миркин. М. : Наука, 1974.

19. Растригин, Л. А. Коллектив алгоритмов / Л. А. Растригин, Р. X. Эренштейн // Материалы Международной объединенной конференции по искусственному интеллекту. Москва, СССР, 1975. -Т. З.-С. 138-144.

20. Растригин, Л. А. Коллектив алгоритмов для обобщения алгоритмов решения задач / Л. А. Растригин, Р. X. Эренштейн // Известия АН СССР Техническая кибернетика. Б. м. : б. и., 1978. - № 2. - С. 116126.

21. Растригин, Л. А. Метод коллективного распознавания / Л. А. Растригин, Р. X. Эренштейн. М. : Энергоиздат, 1981.

22. Растригин, Л. А. Обучение коллектива решающих правил / Л. А. Растригин, Р. X. Эренштейн // Адаптивные системы. Рига: Зинатне, 1974. № 4. - С. 8-20.

23. Растригин, Л. А. Принятие решений коллективом решающих правил в задачах распознавания образов / Л. А. Растригин, Р. X. Эренштейн // Известия АН СССР Автоматика и телемеханика. Б. м. : б. и., 1975. -№9.-С. 134-144.

24. Самойлов. Про онтологшо распределённого обучения. Дивноморск 2005.

25. Тарасов, В. Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика / В. Б. Тарасов.

26. M.:EflHTopHaji YPCC, 2002. -C. 352.

27. Abu-Draz, S. Peer to Peer Multi-Agent System for Online Trading / S. Abu-Draz, E. Shakshuki // Lecture Notes in Artificial Intelligence. S. 1. : s. n., 2003. - Vol. 2671. - P. 611-613.

28. Ali, K. Error reduction through learning multiple descriptions / K. Ali, M. Pazzani // Machine Learning. S. 1. : s. n., 1996. - № 24(3). - P. 173202.

29. Androutsellis-Theotokis, S. A Survey of Peer-to-Peer Content Distribution Technologies / S. Androutsellis-Theotokis, D. Spinellis // ACM Computing Surveys. S. 1. : s. n., 2004. - Vol. 36. - No. 4. - P. 335-371.

30. Bay, S. D. Characterizing model error and differences / S. D. Bay,iL

31. M.J. Pazzani // Proc. of 17 International Conferenceon on machine learning (ICML-2000). E. m. : 6. h., 2000. - P. 49-56.

32. Blin, J. Application of Pattern Recognition to some Problems in Economics / J. Blin, K. Fu, A. Wliinston // Techniques of Optimization. S. 1. : s. n., 1972.-№.416.-P. 1-18. ,

33. Breiman, L. Bagging predictors / L. Breiman // Machine Learning. S. 1. : s. n., 1996. - № 24 (2). - P. 123-140.

34. Breiman, L. Stacked regression / L. Breiman // Machine Learning. S. 1. : s. n., 1996. - № 24(1). - P. 49-64.

35. Clark, P. The CN2 Induction Algorithm / P. Clark, T. Niblett // Machine Learning Journal. S. 1. : s. n., 1989. - № 3. - P. 261-283.

36. Condorcet, N. C. Essaisur l'application de l'analyse a la probabilite desdecisions rendues a la pluralité des voix / N. C. Condorcet. Paris: Imprimerie Royale, 1785.

37. Cost, S. A weighted nearest neighbor algorithm for learning with symbolic features / S. Cost, S. Salzberg // Machine Learning. S. 1. : s. n., 1993. -№ 10(1).-P. 57-78.

38. Data Mining Tools Review Specification Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.cs.ualberta.ca/~zaiane/courses/cmput695-04/work/HW2-695-F04.html, free. - Title from screen.

39. Datta, S. Distributed Data Mining in Peer-to-Peer Networks / S. Datta, K. Bhaduri, C. Giannella et al. // IEEE Internet Computing special issue on Distributed Data Mining. [S. 1. : s. n.], 2006.

40. Dietterich, T. Ensemble Methods in Machine Learning / T. Dietterich // Handbook of Brain Theory and Neural Networks (2nd Edition). S. 1. : s. n., 2001.

41. Eiter, T. Comparing environments for developing software agents /

42. T. Eiter, V. Mascardi // AI communications. S. 1. : s. n., 2002. - Vol. 15. -P. 169-198.

43. FIPA Agent Communication Language Specification Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.fipa.org/specs/fipa00061/, free. - Title from screen.

44. FIPA Agent Discovery Service Specification Electronic resource. -Electronic data. [S. 1. : s. n.], 2007. - Access mode: http://www.fipa.org/specs/fipa00095/, free. - Title from screen.

45. FIPA Agent Message Transport Specifications Electronic resource., -Electronic data. [S. 1. : s. n.], 2007. - Access mode: http://www.fipa.org/specs/fipa00024, free. - Title from screen.

46. FIPA Agent Platform Electronic resource. Electronic data. - [S. 1. : s.n., 2007. Access mode: www.fipa.org/specs/fipa00001/, free. - Title from screen.

47. FIPA P2P NA WG6. Functional Architecture Specification Draft 0.12 Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.fipa.org/subgroups/P2PNA-WG-docs/P2PNA-Spec-DraftO. 12.doc, free. - Title from screen.

48. FEPA P2P Nomadic Agents Working Group (P2PNA WG6) Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.fipa.org/subgroups/P2PNA-WG.html, free. - Title from screen.

49. Foundations for Intelligent Physical Agents Electronic resource. -Electronic data. [S. 1. : s. n.], 2007. - Access mode: www.fipa.org, free. -Title from screen.

50. Freund, Y. Experiments with a new boosting algorithm / Y. Freund, R. Shapire // Proc. of the 13th International Conference on Machine Learning. S. 1. : s. n., 1996.

51. Gamma, E. Design Patters: Elements of Reusable Object-Oriented Software /E. Gamma, R. Helm, J. Johnson. S. 1. : s. n., 1995.

52. Gama, J. Cascade generalization / J. Gama, P. Brazdil // Machine Learning. S. 1.: s. n., 2000.-№41(3).-P. 315-342.

53. Gnutella at wild pages Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://ru.wikipedia.org/wiki/Gnutella, free. -Title from screen.

54. Gnutella web page Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.gnutella.com/, free. - Title from screen.

55. Gorodetsky, V. Distributed Learning of Information Fusion: A Multi-agent Approach / V. Gorodetsky, O. Karsaeyv, V. Samoilov // Proceedings of the International Conference "Fusion 03". Cairns, Australia, 2003.

56. Gorodetsky, V. I. Multi-Agent Peer-to-Peer Intrusion Detection / V. I. Gorodetsky, O. V. Karsaev, V. V. Samoilov et al. // Communication in Computer and Information Systems. Springer, 2007. pp. - Vol. 1. -P. 260-271.

57. Gorodetskiy, V. P2P Agent Platform: Implementation and Testing / V. Gorodetskiy, O. Karsaev, V. Samoilov et al. // The AAMAS Sixth International Workshop on Agents and Peer-ro-Peer Computing (AP2PC 2007). Honolulu, Hawaii, USA, 2007. P. 21-32.

58. Grasshopper web page Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.grasshopper.de, free. - Title from screen.

59. Haidegger. General Architecture for End-to-End Management in Heterogeneous Telecommunication Networks and an Application to a Voice-over-IP Scenario (ASTC2003) / Haidegger // Applied Telecommunication Symposium. S. 1. : s. n., 2003.

60. Heterogeneous agents Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://en.wikipedia.org/wiki/Heterogeneousagents, free. - Title from screen.

61. Icq web page Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.icq.com/, free. - Title from screen.

62. Introduction to windows peer-to-peer networking Electronic resource., -Electronic data. [S. 1. : s. n.], 2007. - Access mode: www.microsoft.com/technet/network/P2P/P2Pintro.mspx, free. - Title from screen.

63. ITU-T Recommendation M.3010: Principles for a Telecommunications management Networks. S. 1. : s. n.,1996.

64. JADE web page Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://jade.cselt.it, free. - Title from screen.

65. Java Agent Service Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.jcp.org/en/jsr/detail?id=87, free. - Title from screen.

66. JXTA Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. -Access mode: www.jxta.org, free. - Title from screen.

67. Kanal, L. Interactive Pattern Analysis and Classification. Survey and Commentary / L. Kanal // Proceedings of IEEE. S. 1. : s. n., 1972. - № 10.-P. 1200-1215.

68. Kazaa web page Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.kazaa.com/us/index.htm, free. - Title from screen.

69. Kittler J. On combining classifiers / J. Kittler, M. Hatef, P. W. Duin et al. // IEEE Transactions on pattern Analysis and Machine Intelligence. [S. 1. : s. n.], 1998. -№ 20(3). - P. 226-239.

70. Kuncheva, L. Decision Templates for Multiple Classifier Fusion / L. Kuncheva, J. Bezdec, P. W Duin // Pattern Recognition. S. 1. : s. n., 2001. - № 34(2). - P 299-314.

71. Kuncheva, L. Switching between Selection and Fusion in Combining Classifiers: An Experiment// IEEE Transactions On Systems Man And Cybernetics, Part B-cybernetics. S. 1. : s. n., 2002. - Vol. 32. - No. 2. -P. 146-156.

72. Kuncheva, L. Measures of diversity in Classifier Ensembles / L. Kuncheva, C. Whitaker // Machine Learning. S. 1. : s. n., 2003. -No. 51.-P. 181-207.

73. Kungas, P. Semantic Web Service Composition through a P2P-Based Multi-Agent Environment / P. Kungas, M. Matskin // Lecture Notes in Artificial Intelligence. S. 1. : s. n., 2006. - Vol. 4118. - P. 106-119.

74. Logan, B. Classifying Agent Systems / B. Logan // In Proc. of the AAAI-98

75. Workshop on Software Tools for Developing Agents. Wisconsin, USA, 1998.

76. Merz, C. UCI Repository on Machine Learning Databases Electronic resource. / C. Merz, P. Murphy. Electronic data. - [S. 1. : s. n.], 2006. -Access mode: http://www.ics.uci.edu/mlearn/MLR repository.html, free. -Title from the screen.

77. Merz, C. Using correspondence analysis to combining classifiers / C. Merz //Machine learning. S. 1.: s. n., 1999. -№ 36. - P. 33-58.

78. Murthy, S. OC1: Randomized Induction of oblique decision trees / S.Murthy, S.Kassif, S. Salzberg // In Proc. of AAAI-93. S. 1. : s. n., 1993.-P. 322-327.

79. Napster at wiki pages Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://ru.wikipedia.org/wiki/Napster, free. - Title from screen.

80. Napster web page Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://free.napster.com/, free. - Title from screen.

81. Nguyen, G. Agent Platform Evaluation and Comparison / G. Nguyen, T. Dang, L. Hluchy et al. Electronic data. - S. 1. : s. n., 2007. - Access mode: http://pellucid.ui.sav.sk/TR-2002-06.pdf, free. - Title from screen.

82. OGDF— Open Graph Drawing Framework Electronic resource., -Electronic data. [S. 1. : s. n.], 2007. - Access mode:http://www.ogdf.net/ogdf.php, free. Title from screen.

83. OMNET++ Discrete Event Simulation System Electronic resource. -Electronic data. [S. 1. : s. n.], 2007. - Access mode: http://www.omnetpp.org/, free. - Title from screen.

84. Ortega, J. Arbitrating Among Competing Classifiers Using Learned Referees / J. Ortega, M. Coppel, S. Argamon // Knowledge and Information Systems. S. 1.: s. n., 2001. - № 3. - P 470-490.

85. P2PSim : a simulator for peer-to-peer protocols Electronic resource., -Electronic data. [S. 1. : s. n.], 2007. - Access mode: http://pdos.csail.mit.edu/P2Psim/, free. - Title from screen.

86. Peer-to-Peer Agent Platform Guide Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://space.iias.spb.su/ap/index.php?menu=tutorials., free. - Title from screen.

87. Peer-to-Peer Research Group Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.irtf.org/charter?gtype=rg&group=P2Prg., free. - Title from screen.

88. Peer-to-Peer Simulator Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://fada.sourceforge.net/P2Psim/, free. - Title from screen.

89. PeerSim: A Peer-to-Peer Simulator Electronic resource. Electronic data.

90. S. 1. : s. n., 2007. - Access mode: http://peersim.sourceforge.net/, free.1. Title from screen.

91. Polyanalist Data Mining Tool Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.megaputer.com/polyanalyst.php., free. - Title from screen.

92. Prodomidis, A. Meta-learning in distributed data mining systems: Issues and approaches / A. Prodomidis, P. Chan, S. Stolfo // Advances in Distributed Data Mining. S. 1. : s. n., 2000.

93. Purvis, M. Multi-Agent Interaction Technology for Peer-to-Peer Computing Environment / M. Purvis, M. Nowostawski, S. Cranefield et al.// Lecture Notes in Artificial Intelligence. [S. 1. : s. n.], 2004. -Vol. 2872.-P. 150-161.

94. Quinlan, R. C4.5 Programs for Machine Learning / R. Quinlan. Morgan Kaufmann, 1993.

95. Rumelhart, D. E. Learning internal representation by error propagation / D. E. Rumelhart, G. E. Hinton, R.J.Williams // Parallel Distributed Processing: Exploration of the microstmcture of cognitions. S. 1. : s. n., 1986.-№1.-P. 318-362.

96. SAGE Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. -Access mode: http://sage.niit.edu.pk/, free. - Title from screen.

97. Schoepke, S. H. A Business View Regarding the Selection Of Agent Development Toolkits / S. H. Schoepke. In Proc. of the AAAI-98 Workshop on Software Tools for Developing Agents. Wisconsin, USA, 1998.

98. Seewald, A. An evaluation of grading classifiers / A. Seewald, J. Fuernkranz. // In Proceedings of 4th International Conference Intelligent data Analysis. S. 1. : s. n., 2001. - P 115-124.

99. Stolfo, S. A comparative evaluation of voting and meta-learning on partitioned data / S. Stolfo, P. Chan // In Proceedings of Twelfth 4th1.ternational Conference on Machine Learning. S. 1. : s. n., 1995. -P 90-98.

100. Tanagra Data Mining Tool Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://eric.univ-lyon2.fr/~ricco/tanagra/en/tanagra.html, free. - Title from screen.

101. Pacific Marine Environmental Laboratory Electronic resource., -Electronic data. [S. 1. : s. n.], 2007. - Access mode: http://www.pmel.noaa.gov/tao/, free. - Title from screen.

102. Tate, A. The "Helpful Environment": Geographically Dispersed Intelligent Agents That

103. Collaborate / A. Tate // IEEE Intelligent Systems. S. 1. : s. n., 2006. -P. 57-61.

104. Ting, K. Issues in stacked generalization / K. Ting, I. Witten // Journal of Artificial Intelligence Research. S. 1. : s. n., 1999. -№ 10. -P 271-289.

105. Ting, K. The characterization of predictive accuracy and decision combination / K. Ting // In Proceedings of 13th International Conference on Machine Learning. S. 1. : s. n., 1996. - P 498-506.

106. Todorovski, L. Combining classifiers with meta decision trees / L. Todorovski, S. Dzeroski // Machine Learning Journal. S. 1. : s. n., 2003. -№ 50(3). -P. 223-249.

107. Todorovski, L. Combining classifiers with meta decision trees / L. Todorovski, S. Dzeroski // Proceedings of 4th European Conference on Principles of Data Mining and Knowledge Discovery (PKDD-2000). S. 1. :s. n., 2000,-P 54-64.

108. Tryllian web page Electronic resource. Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.tryllian.com/, free. - Title from screen.

109. ValleeM. A Multi-Agent System for Dynamic Service Composition in Ambient Intelligence Environments // F. Ramparany, L. Vercouter L.

110. Electronic data. S. 1. : s. n., 2007. - Access mode: http ://www.pervasi ve. ifï. lmu. de/adjunct-pro ceedings/do ctoral-colloquium/pl75-l82.pdf. - Title from screen.

111. Wang, M. An Agent-Based Collaborative Framework for Mobile Peer-to-Peer Applications / M. Wang, H. Wolf, M. Purvis // Lecture Notes in Artificial Intelligence. S. 1. : s. n., 2006. - Vol. 4118. - P. 132-144.

112. Weiss, G (eds). Multi-agent Systems A Modem Approach to Distributed Artificial Intelligence / G. Weiss (eds). - S. 1. : s. n., 1999.

113. WEKA Data Mining Tool Electronic resource., Electronic data. - [S. 1. : s. n.], 2007. - Access mode: http://www.cs.wailcato.ac.nz/ml/weka/, free. -Title from screen.

114. Witten, H. Data Mining: Practical Machine Learning Tools and Techniques (second edition) / H. Witten, E. Frank. S. 1. : s. n., 2005. - P. 525.

115. Wolpert, D. Stacked generalization / D. Wolpert // Neural Network. S. 1. : s. n., 1992. - № 5(2). - P 241-260.

116. Wooldridge, M. Agent Theories, Architectures, and Languages: A Survey / M. Wooldridge, N. R. Jennings // Intelligent Agents (ECAI-94) Workshop on Agent Theories, Architecture and Languages. S. 1. : s. n., 1994. -P. 339.

117. Yu, B. Incentive Mechanism for Agent-Based Peer-to-Peer Systems / B. Yu, M. P. Singh // Lecture Notes in Artificial Intelligence. S. 1. : s. n., 2004. - Vol. 2872. - P. 77-88.