Разработка программных средств повышения уровня автоматизации и качества семантического поиска мультимедиа ресурсов тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Новиков, Сергей Владимирович

• Новиков, Сергей Владимирович
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Новиков, Сергей Владимирович

Введение.

Глава 1. Анализ класса рассматриваемых систем, методов поиска, и возможностей Semantic Web для автоматического обнаружения знаний о мультимедиа ресурсах.

1.1 Анализ рассматриваемого класса систем и выделение решаемых задач.

1.2 Обзор и обоснование использования Semantic Web для систем управления мультимедиа ресурсами.

1.3 Постановка задачи.

1.4 Выводы по первой главе.

Глава 2. Разработка методов объединения онтологических баз знаний Semantic Web для описания предметной области мультимедиа ресурсов.

2.1 Использование репутации и явно определенных политик для оценки уровня доверия к конкретному утверждению.

2.2 Методы объединения онтологий.

2.3 Разработка алгоритма объединения двух и более источников знаний.

2.4 Выводы по второй главе.

Глава 3. Разработка алгоритмов автоматизации семантических аннотаций высокоуровневыми концептами.

3.1 Поиск новых утверждений на основе имеющегося небольшого набора.

3.2 Реализация и представление результатов алгоритмов обнаружения низкоуровневых свойств для их использования в поиске концептов высокого уровня.

3.3 Вывод на основе правил связи низкоуровневых концептов с высокоуровневыми.

3.4 Выводы третьей главе.

Глава 4. Разработка программного инструмента, автоматизирующего процесс аннотации

4.1 Архитектура приложения.

4.2 Реализация предложенных алгоритмов и решений.

4.3 Тестирование и апробация разработанного программного решения.

4.4 Выводы по четвертой главе.

Введение диссертации (часть автореферата) на тему «Разработка программных средств повышения уровня автоматизации и качества семантического поиска мультимедиа ресурсов»

В настоящее время, в связи с тенденцией резкого роста числа мультимедиа ресурсов, особенно сетевых, все более острой становится проблема поиска и обработки мультимедиа данных: графических и векторных изображений, аудио и видео данных т.д. Созданные мультимедиа ресурсы требуется повторно применять, объединять, использовать при создании новых ресурсов, обмениваться и т.д. Класс систем, который решает подобные задачи, и рассматривается в данной работе - DAM (Digital Asset Management) системы, или системы управления мультимедиа ресурсами, например IBIS, CatDV, Televista, Final Cut и др. Такие системы применяются при обработке видеоматериалов на телевидении, подготовке статей и иллюстраций в печатных изданиях и в других СМИ, для управления и продажи мультимедийных данных в фото и видео банках, каталогизации в архивах и музеях и даже в управлении домашними коллекциями, размеры которых стали существенными в связи с доступностью записывающих устройств. Мультимедиа ресурс - ото один или несколько файлов мультимедиа, связанных между собой по смыслу, в совокупности с информацией их описывающей. Авторам, издателям и потребителям требуется эффективный инструмент управления мультимедийными данными. Однако, для того чтобы выполнить любую операцию с находящимся в системе ресурсом, его требуется сначала найти.

Таким образом, основная функция этого классам систем - поиск. Без качественного поиска невозможны остальные функции Сегодня в классе DAM систем, в основном, используется синтаксический поиск, чуть реже поиск по визуальному сходству, а также применяются некоторые другие варианты нахождения данных. Наиболее успешный подход к поиску в данном классе систем, из внедряемых в последнее время, - это подход, применяющий собственные словари для уточнения искомых термов. Поиск по визуальному сходству может быть эффективен для мультимедиа, однако главные вопросы при поиске содержимого - это «что изображено», «какое действие происходит», «кем производится действие», «где», «как» и т.д., а для этого надо либо предоставить похожий мультимедиа ресурс, либо система должна осуществить связь низкоуровневых аудиовизуальных свойств с высокоуровневым понятием. Такая проблема носит название «семантическая пропасть», и полностью не решена па данный момент, несмотря на то, что достигнуты определенные успехи в этом направлении. Под качеством поиска подразумевается нахождение релевантных результатов за временной промежуток, требующийся для выдачи результата современным поисковым системам, основанным на синтаксическом поиске. Ключевое отличие семантического поиска от подхода в

В третьей главе данной работы предлагается алгоритм обнаружения высокоуровневых концептов путем распознавания визуальных образов. Автор показывает, что определенные аннотации могут быть получены автоматически, при совместном использовании современных алгоритмов извлечения визуальных свойств и базы знаний о предметной области. Другие утверждения для аннотации могут быть получены исходя из OWL онтологий и RDFS (Resource Description Framework Schéma - схема для описания RDF) схем. Кроме того, использование онтологического подхода позволяет проверить аннотацию на непротиворечивость. Также, в этой главе предложен алгоритм для обнаружения новых концептов из ограниченного набора уже существующих, определяющий утверждения, основываясь на известных фактах из базы знаний, онтологиях, и разрешающий контекстуальную зависимость одних концептов от других.

Четвертая глава содержит описание разработанного программного продукта, особенности технических решений, спроектированной архитектуры, применения разработанных алгоритмов, и описание работы созданного прикладного программного обеспечения. Также проводятся испытания и тестирование разработанного инструмента для аннотирования мультимедиа ресурсов.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Новиков, Сергей Владимирович

4.4 Выводы

В этой главе была рассмотрена архитектура разработанного приложения и представлены основные моменты реализации предложенных в предыдущих главах алгоритмов, методов, технологий и решений. Результатом проделанной работы стала программная система «Аннотатор», представляющая собой законченный прототип системы автоматизации аннотирования.

Данная глава демонстрирует применимость и обоснованность предложенного в предыдущих главах подхода, а также представляет набор технологий и "платформу для решения задач' автоматизированного создания формализованной аннотации. Глава затрагивает такие вопросы« применения, как интеграция формализованных- аннотаций в уже существующие форматы и спецификации метаданных. Это позволяет не только хранить и искать мультимедиа ресурсы в рамках одной системы, но и масштабировать поиск и распространение метаданных на существенно более широкую область.

В данной части диссертации детализированы основные этапы рабочего процесса аннотации, а также подробно рассмотрены самостоятельные программные компоненты. Представлена архитектура, включающая базы знаний, веб сервис, периодически выполняющиеся локальные службы, а также непосредственно приложение с интерактивным интерфейсом для взаимодействия с пользователем. Затронуты

Заключение

В ходе выполнения работы получены следующие основные результаты:

1. Проведен' аналитический обзор состояния? современного Semantic Web, позволивший выделить проблему» поиска , и онтологического анализа мультимедийного сетевого ресурса. Сформулирована цель исследований, онтологического í подхода/ и разработки программной: системы, поддерживающей процессы формальной концептуализации предметной области; с учетом специфических! особенностей' указанного; ресурса и повышения . эффективности; процедур семантического \ поиска; привлекающего структурные и логические описания 0НТ0Л0ГИЙ:

2. Разработана и исследована обучаемая онтологическая; рекомендательная. . система «Аннотатор», обеспечивающая высокую скорость и, повышение: качества аннотирования,5 допускающая? интерактивные режимы«'.работы. Система обеспечивает сокращение сроков создания аннотации за; счет автоматического обнаружения концептуализируемых элементов мультимедийного ресурса, и повышение качества получаемых аннотаций на основе максимально широкого привлечения доменов и структурно-логических описаний, онтологического уровня.

3. Разработана программная; система эффективного семантического; поиска мультимедиа ресурсов,- Показана роль аннотаций при извлечении глубинных; знаний,5 соответствующих адекватной, детализации^ получаемой медиа информации ^ с сохранением ; релевантности = результата запросу в классе DAM систем.

4. Разработана информационная технология- автоматического^ объединения • онтологических; знаний, , полученных из распределенных; источников; с учетом; доверия к; источнику и; разрешающая противоречия между формализованными RDF утверждениями, возникающими при, объединении знаний из гетерогенных источников: •

5: Исследованы типы- неопределенностей; получаемые в результате аннотированиями их учет в процедурах поиска:; пересечение классов, неполнота запроса, различная степень достоверности утверждений- в онтологической базе знаний и др. , ,

6. Фактически исследованы языки представления данных; и знаний; для Semantic Web и выявлены ограничения современного инструментария,, что

34. Stan Devitt, Jos De Roo, Helen Chen. Desirable Features of Rule Based Systems for Medical Knowledge // W3C Workshop on Rule Languages for Interoperability, W3C consortium, 2005.

35. Tim Berners-Lee, Hendler James. Publishing on the Semantic Web // Nature, April 26 2001 p. 1023-1025.

36. Tim Berners-Lee, Hendler, James, Lassila, Ora. The Semantic Web // Scientific American, May 2001, p. 29-37.

37. Tim Berners-Lee. Weaving the Web: The Original Design and Ultimate Destiny of the World Wide Web // Harper; ISBN:' 006251587X, 1999.

38. Tim-Berners Lee, Wendy Hall, James A. Hendler, Kieron O'Hara, Nigel Shadbolt, Daniel J. Weitzner. A Framework for Web Science // Foundations and Trends in Web Science; ISBN: 1-933019-33-6 №1, Vol. 1, 2006, pp. 144.

39. Th. Papadopoulos, Ph. Mylonas, V. Mezaris, Y. Avrithis and I. Kompatsiaris. Knowledge-Assisted Image Analysis Based on Context and Spatial Optimization // International Journal on Semantic Web and Information Systems, 2006, vol. 2, no. 3, pp. 17-36.

40. Vasileios Mezaris, Ioannis Kompatsiaris, and Michael G. Strintz. Region-based image retrieval using an object ontology and relevance feedback // EURASIP JASP, 2004, №. l,pp. 886-901.

41. Yuichi Ohta, Knowledge-based Interpretation of outdoor natural color scenes // Pitman publishing inc; ISBN 0-273-08673-1, 1985.

123