Метод визуального управления онтологическими данными в трехмерном виртуальном пространстве тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Раздьяконов Даниил Сергеевич

• Раздьяконов Даниил Сергеевич
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Раздьяконов Даниил Сергеевич

Введение

Глава 1 Обзор предметной области

1.1 Метрики визуализации

1.2 Средства визуализации

1.3 Подходы к обработке пустых узлов

1.4 Языковые модели и нейросети

1.5 Механизм внимания в языковых моделях

1.6 Выводы

Глава 2 Модель интерактивной визуализации онтологических

данных и метрики трудоемкости поиска

2.1 Агентная модель интерактивной визуализации данных

2.2 Целевая функция

2.3 Представление задачи в пространстве состояний

2.4 Сценарии использования визуализаций данных

2.5 Процедура поиска

2.6 Пример расчёта пути в двумерном пространстве состояний

2.7 Расчёт метрик

2.8 Выводы

Глава 3 Метод визуального управления онтологическими

данными в трехмерном виртуальном пространстве

3.1 Описание прототипа

3.1.1 Архитектура Ontodia

3.1.2 Архитектура Ontodia3D

3.1.3 Циркуляция данных в прототипе ONTODIA

3.2 Алгоритм генерации контекстно зависимых идентификаторов для анонимных узлов, позволяющий увеличить покрытие пространства данных метода интерактивной визуализации . . . . 83 3.2.1 Предобработка информации

3.2.2 Получение контекста

3.2.3 Контекстно зависимые идентификаторы

3.2.4 Выдача результатов предобработки

3.3 Алгоритм ранжирования узлов, использующий векторизацию запроса и исходного графа, а также механизм внимания, для онтологических графовых данных

3.3.1 Описание алгоритма

3.3.2 Алгоритм ранжирования элементов визуализации, использующий механизм внимания

3.3.3 Обучение нейронной сети

3.4 Рекомендации по построению интерфейса пользователя

3.4.1 Рекомендации для шага «ввод»

3.4.2 Рекомендации для шага «визуализация»

3.5 Выводы

Глава 4 Экспериментальное исследование

4.1 Испытательный стенд

4.2 Набор данных

4.3 Методика испытаний

4.4 Инструменты управления стенда

4.5 Результаты предварительных испытаний

4.6 Результаты финальных испытаний

4.7 Практическая ценность и сценарии использования

4.8 Выводы

Заключение

Список сокращений и условных обозначений

Словарь терминов

Список литературы

Список рисунков

Список таблиц

Введение диссертации (часть автореферата) на тему «Метод визуального управления онтологическими данными в трехмерном виртуальном пространстве»

Введение

В настоящее время все больше программных систем включают в себя компоненты, предназначенные для работы со слабоструктурированными данными. Для хранения и обработки данных подобные системы используют графовые форматы и алгоритмы, а в качестве схем или моделей данных используются онтологии. Организация человеко-машинного взаимодействия в подобных системах посредством стандартных форм и таблиц не является достаточно эффективной, так как слабо структурированная информация не предполагает фиксированного пользовательского интерфейса для отображения, поэтому в подобных системах широко применяются различные форматы визуализации, в том числе интерактивные.

Согласно работе «О визуализации информации» [3], зрительная система человека способна эффективно воспринимать данные, представленные в графическом виде, то есть визуализация помогает идентифицировать образы, строить гипотезы и извлекать закономерности из данных, что позволяет сделать более эффективным, так называемый, процесс исследования данных, или, другими словами, итеративное построение запросов к системам и анализ получаемых результатов. Важно отметить, что задача исследования данных сильно зависит от типа данных и разработка интерфейсов для её решения не может быть выполнена с помощью единого шаблона.

Системы, построенные на онтологиях, применяются во многих сферах, таких как биоинженерия, энергетическая промышленность, приборостроение, биология, системы учета коммунальных услуг, культурное наследие и др. В настоящее время существует несколько подходов к визуализации онтологий. Это могут быть ИЫЬ или node-link-диаграммы, либо более специализированные системы, позволяющие формировать онтологический граф, например инструменты WebVOWL [45] или Ontodia [49]. Многие промышленные задачи визуализации данных решаются с применением систем виртуальной реальности. В большинстве своём в качестве данных для подобных визуализаций выступают объекты реального мира, прямое взаимодействие с которыми по тем или иным причинам нецелесообразно или невозможно. Примерами могут служить учебные тренажеры для работы в сложных условиях, характеризующихся зна-

чительными затратами времени и ресурсов. Воспроизведение подобных условий посредством очков виртуальной реальности в рамках учебной программы является значительно менее ресурсоёмким, но при этом достаточным для получения необходимых навыков. Другим примером может быть визуализация данных, получаемых в реальном времени от дрона или системы дистанционного пространственного сканирования, находящихся на значительном расстоянии от оператора. Ещё одним примером является взаимодействие с микромиром посредством визуализации частиц и молекул, что невозможно в физической реальности.

Существующие системы виртуальной реальности используют заранее подготовленные фиксированные модели и не предлагают возможностей для работы со слабоструктурированными данными, такими как онтологические базы знаний. Этот факт является существенным ограничением систем виртуальной реальности, так как не позволяет динамически подключать новые источники данных к визуализируемым моделям.

Различные инструменты работы с данными в виртуальном пространстве рассмотрены в статьях «Immersive and Collaborative Data Visualization Using Virtual Reality Platforms» [18] и «Virtual Reality: Beyond Visualization» [23]. В первой статье рассматриваются возможности совместной работы над данными в виртуальной реальности, а также способы выражение свойств данных, а во второй способы применения виртуальной реальности в научной среде. Однако перечисленные в статьях инструменты не затрагивают тему визуализации онтологий.

Примерами визуализации, где частично используются онтологические данные, например, могут служить приложения, разработанные Британским Музеем, который проводит виртуальные туры, или приложения Американской Ассоциации Музеев, предоставившей возможность посещения музеев в условиях пандемии с использованием технологий виртуальной реальности. На первый взгляд данные примеры никак не связаны с визуализацией онтологических данных, но, учитывая тот факт, что данные музеев хранятся в онтологическом виде, данные виды визуализации можно назвать кастомизированным способом визуализации онтологических данных. Таким образом задача визуализации онтологических данных в виртуальном пространстве является актуальной наравне с другими видами визуальных представлений, но на данный момент не суще-

ствует готовых решений, позволяющих работать с онтологическими данными в виртуальной реальности. При этом подобные визуализации не могут быть получены простым преобразованием двухмерных диаграмм в трехмерные в силу развитой и богатой семантики элементов визуализации, что требует специальных методов и средств для формирования наглядных представлений.

Проблемами в данной области являются: сложность формирования запросов к онтологическим базам знаний посредством управления трехмерной визуализацией, порождающей избыточное количество параметров поиска, обработка анонимных узлов онтологий, а также отсутствие объективных механизмов оценки построенных визуализаций. Данная работа посвящена исследованию перечисленных проблем.

Степень разработанности проблемы. Теме визуализации и визуализации онтологий посвящено множество работ ученых со всего мира. Визуализации, например, посвящены работы таких российских ученых как М.М. Матюшин, Т.Г. Вакурина, В.В. Котеля, П.А. Ломов, М.Г. Шишаев, Н.С. Вагарина, Д.С. Маринин, З.В. Апанович, П.С. Винокуров, Т.А. Кислицина, Е.Е. Кото-ва, И.А. Писарев. В то же время на тему визуализации онтологий пишется множество зарубежных статей. Среди авторов этих статей присутствуют такие ученые как A. Katifori, C. Halatsis, G. Lepouras, C. Vassilakis, J. Sevilla, P. Casanova-Salas, S. Casas-Yrurzum, T.B.A. Vasyliuk, N.O.P. Vago, M. Sacaj, M. Sadeghi, S. Kalwar, M.G. Rossi, L. Asprino, C. Colonna, M. Mongiovi, M. Porena. Тема метрик визуализации была затронута в работах следующих российских авторов: М.В. Коломеец, А.А. Проноза, А.А. Чечулин, но более распространена в работах зарубежных авторов. Зарубежные авторы, затрагивающие тему метрик визуализаций - это такие ученые как C. Lewerentz, F. Simon, G. Melancon, A. Sallaberry, E. Bertini, A. Tatu, D. Keim, R. Brath, E. Bertini, G. Santucci.

диссертационной работы является ускорение интерактивного поиска по онтологическим базам знаний. Для достижения поставленной цели были решены следующие :

1. Аналитический обзор методов репрезентации онтологических данных в трехмерном пространстве.

2. Разработка модели интерактивной визуализации и метрики трудоемкости поиска для оценки и обоснования релевантности разрабатываемого метода.

3. Исследование возможностей применения языковых моделей для векторизации запросов к базам знаний и ранжирования элементов визуализации.

4. Исследование проблемы неполного покрытия пространства данных в областях, содержащих анонимные узлы.

5. Разработка плана эксперимента и программного прототипа, реализующего предложенные в диссертации методы и сборка экспериментального стенда.

6. Проведение испытаний, подтверждающих актуальность и эффективность разработанного метода.

7. Обработка и обобщение результатов экспериментальных исследований.

Объектом исследования являются человеко-машинное взаимодействие, интерактивный поиск в онтологических базах знаний и способы визуализации онтологических данных.

Предметом исследования выступают модели визуализаций, методы построения и оценки интерактивных визуализаций онтологических данных, а также алгоритмы обработки анонимных узлов онтологий.

Методы исследования, использованные в работе: методы статистической обработки экспериментальных данных, прототипное проектирование, теория графов, метод глубокого обучения, мозговой штурм, векторизация данных, теория множеств, онтологический инжиниринг, тестирование и работа с группами испытуемых.

1. Метод визуального управления онтологическими данными на основе агентной модели процесса интерактивной визуализации, позволяющий снизить трудоемкость выполнения пользовательских сценариев за счет сведения пошагового построения визуализаций к задаче поиска в пространстве состояний.

2. Метрики трудоемкости поиска для оценки качества интерактивных визуализаций, обеспечивающие независимую от типа используемого ин-стумента оптимизацию процесса их построения.

3. Алгоритм ранжирования элементов интерактивной визуализации, использующий векторизацию запроса и механизм внимания, для автоматизированного расчета контекста визуализаций на основе семантической близости его элементов.

4. Алгоритм генерации контекстно зависимых идентификаторов для анонимных узлов онтологического графа, позволяющий расширить пространство данных, доступное для визуализации.

В данной работе мы объединяем понятия визуализация и управление визуализацией в термин «Интерактивная визуализация», предполагающая в ответ на действия пользователя изменение масштаба, угла обзора на данные, изменение фильтров и подсветка наиболее значимых для пользователя фрагментов и пр. Для интерактивных визуализаций лишь отчасти применимы метрики, создаваемые для статических визуализаций. При этом качество интерактивной визуализации, как и качество визуализации, - это субъективные понятие. Для того чтобы дать объективную оценку качества трехмерных интерактивных репрезентаций онтологических данных, была разработаны модель на основе выявленных сценариев использования, а также разработан механизм интеллектуального выделения, позволяющий улучшить отдельные аспекты интерактивных визуализаций.

результатов исследований обуславливается следующим:

1. Предложен метод разработки средств интерактивной визуализации онтологических данных, основанный на модели, которая описывает целевую функцию процесса интерактивной визуализации в терминах скорости, трудоемкости и расстояния, что позволяет снизить трудоемкость построения интерактивных визуализаций онтологических данных.

2. Разработаны метрики трудоемкости интерактивной визуализации многомерного пространства данных, отличающиеся инвариантностью к управляющему воздействию пользователя на визуализацию онтологического графа.

3. Предложено новое применение языковой модели на архитектуре Транс-формер для векторизации запросов, автоматически формируемых для заданных узлов онтологического графа, что позволяет сократить трудоемкость поиска в пространстве данных путём последовательного уточнения семантического контекста.

4. Предложен алгоритм формирования контекстно зависимых идентификаторов, на основе метода канонизации графа, отличающийся возможностью «ленивой» визуализации областей онтологий, содержащих анонимные узлы.

Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Автор лично разработал алгоритм ленивой визуализации анонимных узлов онтологических графов с применением контекстно зависимых идентификаторов. Алгоритм был внедрён в инструмент Ontodia при поддержки соавтора работы Морозова А.В, который реализовал в коде части алгоритма на языке typescript. Под руководством Герхард Вольгенаннт автор принимал непосредственное участие в исследовании и внедрении векторных представлений узлов графа в инструмент визуализации Ontodia. В ходе работы над диссертацией автором был разработан и исследован алгоритм ранжирования узлов визуализируемого онтологического графа, использующий векторизацию запроса и исходного графа, а также механизм внимания, для онтологических графовых данных. Автор самостоятельно написал основные содержательные части статей, которые легли в основу данного диссертационного исследования, а также лично представил на конференциях научные доклады по теме диссертации. Автором было разработано и интегрировано программное обеспечение, написанное в ходе исследования, а именно - программный модуль L3Graph и программный продукт Ontodia3d. Коммерческая интеграция частей диссертационной работы в программные продукты Ontodia и Metaphactory производилась при поддержке одного из соавторов Павлова Д.С, а Муромцевым Д.И. было предложено общее направление исследований.

Внедрение результатов. Результаты данного диссертационного исследования были внедрены в исследовательских проектах компании «Metaphacts GMBH» и её петербургского филиала ООО «Metaphacts East Europe», в том числе разработано экспериментальное расширение платформы «Metphactory» [28] для визуализации онтологических данных в виртуальном пространстве.

результатов, полученных в рамках диссертационной работы, подтверждается сформированным на начальной стадии работ аппаратом оценки результатов исследования, - метриками трудоёмкости поиска. В том числе достоверность подтверждается теоретическими выкладками, доказывающими состоятельность научных результатов, а также непротиворечивостью экспериментальных данных, полученных на разработанном автором испытательном стенде. Обоснованность результатов исследований подтверждается апробацией результатов исследований на российских и международных конференциях, а также

их согласованностью с ранее полученными результатами исследовании других авторов в данной предметной области.

Результаты работы были апробированы на международных и российских конференциях. Список конференций, на которых были представлены результаты следующий:

1. ESWC 2019 - Extended Semantic Web Conference (2019).

2. KESW 2017 - Knowledge Engineering and Semantic Web (2017).

3. ESWC 2016 - Extended Semantic Web Conference (2016).

4. ISWC 2015 - International Semantic Web Conference (2015).

5. X КМУ ИТМО - Конгресс молодых ученых.

Теоретическая значимость полученных результатов состоит в обосновании целесообразности учета управляющего воздействия пользователя на визуализацию, а также его фокуса внимания при построении модели интерактивной визуализации онтологических данных. Кроме того, показаны способы сокращения трудоемкости поиска в пространстве онтологических данных за счет ранжирования векторизованных узлов и языковой модели на архитектуре «трансформер».

Практическая значимость результатов диссертационной работы заключается в создании разработке экспериментального стенда для визуализации онтологически данных в виртуальном пространстве и расчета метрик трудоемкости интерактивного поиска по графу, а также в реализации программной библиотеки для методов визуализации, использующих алгоритм выдачи контекстно зависимых идентификаторов и механизм внимания для упорядочивания узлов. Предложен набор рекомендаций для улучшения интерактивной визуализации в соответствии с метриками трудоемкости поиска на разных шагах. Кроме того, автором обучена нейросеть для упорядочивания узлов, используемая в алгоритме выдачи контекстно зависимых идентификаторов.

Ценность научных работ определяется тем, что впервые было предложена программная архитектура и построена система интерактивной визуализации онтологических данных в трехмерном пространстве. Предложенные решения открывают новые возможности практического применения баз знаний в системах виртуальной реальности, как для образовательных или исследовательских задач, так и в производственных процессах, где подобные технологии находят все большее применение. Также рассматриваются новые алгоритмы,

позволяющие ускорить интерактивный поиск по онтологическим базам знаний за счет контекстно зависимой обработки анонимных узлов и ранжирования элементов онтологического графа на основе векторизации запросов и механизма внимания. Предложены инвариантные по отношению к управляющему воздействию пользователя метрики трудоемкости интерактивной визуализации многомерного пространства данных. Предложенные модели и алгоритмы, представленные в научных работах, имеют высокую практическую и научную ценность, что подтверждается многочисленными выступления на конференциях.

По теме диссертационной работы автором опубликовано 7 статей, из них 1 работа издана в журнале, рекомендованном перечнем ВАК, 6 в изданиях, входящих в списки Web of Science/Scopus. В опубликованных работах отражены основные положения диссертации. Рассматривается алгоритм формирования контекстно зависимых идентификаторов для пустых узлов онтологического графа, векторизация узлов, а также результаты экспериментальной проверки полученных научных результатов.

Научные издания, входящие в международные реферативные базы данных и системы цитирования:

1. Razd'Yakonov D., Morozov A., Pavlov D., Muromtsev D. Approach to Blank Node Processing in Incremental Data Visualization by the Example of Ontodia // Programming and Computer Software - 2020, Vol. 46, No. 6, pp. 384-396

2. Razdyakonov D., Wohlgenannt G., Emelyanov Y., Pavlov D., Mouromtsev D. A New Tool for Linked Data Visualization and Exploration in 3D/VR Space // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) - 2019, Vol. 11762, pp. 167-171

3. Wohlgenannt G., Klimov N., Mouromtsev D.I., Razdyakonov D., Pavlov D., Emelyanov Y. Using word embeddings for visual data exploration with ontodia and wikidata // CEUR Workshop Proceedings - 2017, Vol. 1932

4. Wohlgenannt G., Klimov N., Mouromtsev D., Razdyakonov D., Pavlov D., Emelyanov Y. Using word embeddings for search in linked data with Ontodia // CEUR Workshop Proceedings - 2017, Vol. 1963, pp. 16-24

5. Mouromtsev D., Pavlov D., Emelyanov Y., Morozov A., Razdyakonov D., Parkhimovich O. Workflow supporting toolset for diagram-based

collaborative ontology development implemented in the open budget domain // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics) - 2016, Vol. 9989, pp. 178-182

6. Mouromtsev D., Pavlov D., Emelyanov Y., Morozov A., Razdyakonov D., Galkin M. The simple, web-based tool for visualization and sharing of semantic data and ontologies // CEUR Workshop Proceedings - 2015, Vol. 1486, pp. 77

Научные издания, входящие в перечень российских рецензируемых журналов:

7. Раздьяконов Д.С., Морозов А.В., Павлов Д.С., Муромцев Д.И. Подход к обработке пустых узлов при порционной визуализации данных на примере инструмента ONTODIA // Программирование - 2020. - No 6. - С. 16-29

Объем и структура работы. Диссертация состоит из введения, четырёх глав, заключения и двух приложений. Полный объём диссертации составляет 147 страниц с 61 рисунком и 10 таблицами. Список литературы содержит 73 наименования.

Глава 1 Обзор предметной области 1.1 Метрики визуализации

Разработано большое количество всевозможных средств визуализации, обзоры которых приводится в таких статьях как «Big data visualization tools: a survey» [11] и «A survey of data visualization tools for analyzing large volume of data in big data platform» [54]. Инструменты визуализации разрабатываются для применения в различных научных и промышленных сферах, например в медицине и биологии - «A survey of visualization tools for biological network analysis» [52]. Большое количество обзоров на всевозможные инструменты визуализации приведены в статье «Survey of surveys (SoS)-Mapping the landscape of survey papers in information visualization» [47]. Нас, прежде всего, интересуют средства визуализации, работающие с онтологическими данными, представлен-ны, например, в обзорах «Ontology visualization methods and tools: a survey of the state of the art» [21] и «Ontology visualization methods—a survey» [37]. Часто при разработке инструментов визуализации не даётся чётких определений того, что есть визуализация, интерактивная визуализация (ИВ) и инструменты взаимодействия, в то время как существует довольно много определений метрик качества визуализаций, которые тем или иным образом формируют модель для вычислений.

Довольно давно были описаны метрики «Эстетичности» (рисунок 1.1). Они были представлены ещё в статье 2002 года «Empirical evaluation of aesthetics-based graph layout» [53] и фокусировались преимущественно наумень-шении минимизации количества искажений в диаграммах типа Вершина-связь. Своей целью метрики ставили следующее:

1. минимизация пересечений ребер,

2. минимизация изгибов ребер,

3. максимизация симметрии,

4. максимизация минимального угла между ребрами, выходящими из узла,

5. максимизация ортогональности ребер,

6. максимизация ортогональности узлов,

7. максимизация согласованного направления потока (ориентированные графы).

Рисунок 1.1 — Метрики эстетичности

В 2017 году в работе «Shape-Based Quality Metrics for Large Graph Visualization» [22] предлагались следующие метрики качества для больших графов (Изображения связей которых сливаются в «кляксы»): Визуализация построена «хорошо», если форма минимального остовного дерева соответствует исходному графу. Метрики, основаны на форме и Коэффициенте Жаккара для графов. Берется исходный граф на рисунке 1.2 (а), из него удаляются все ребра (hbceyjr 1.2 (b)), затем строится минимальное остовное дерево (рисунок 1.2 (с)), затем для (с) и (a) вычисляется коэффициент Жаккара. В этой статье озвучивалась идея использования метрик качества совместно с алгоритмами оптимизации для улучшения конечных визуализаций.

(а) (Ь) (с)

Рисунок 1.2 — Метрики, основанные на форме

Описанный сценарий использования метрик используется в статье «Quality metrics for information visualization» [8], где описываются основные идеи расчёта метрик для визуализаций и их применение для формирования оптимальной визуализации. В статье приводятся примеры для разных типов

визуализаций: столбиковые диаграммы, графы, диаграммы параллельных координат, круговые диаграммы, диаграммы Санки, пиксельные диаграммы, глифы и др. Метрики качества, согласно этой статьей, состоят из алгоритмической части и «Критерия качества», который зависит от таких параметров, как данные, задача и пользователь. Алгоритмическая часть основывается на алгоритме многокритериальной оптимизации и пытается эффективно найти допустимую конфигурацию визуализации ф, которая оптимизирует критерий качества q. Он описывается как q(ф | D,U,T). Критерий качества стремится эвристически получить то, как может выглядеть эффективный экземпляр визуализации, который интуитивно связан и находится под влиянием поставленной задачи Т (которая определяет ожидаемый внешний вид), характеристики набора данных D (которая определяет возможность создания визуального шаблона) и пользовательских настроек U. Следовательно, QM arg min/max q(ф | D,U,T) определяет предпочтительную для восприятия конфигурацию визуализации ф для критерий качества q(...) с учетом влияющих факторов D, U,T.

В статье «Quality metrics in high-dimensional data visualization: An overview and systematization» [9] метрики качества используются другим способом. Авторы представляют систематический анализ показателей качества как способ поддерживать исследование многомерных наборов данных. Они объединяют множество метрик в одну систему, тем самым предоставляя возможность рассуждать о характеристиках визуализаций и их особенностях. В примерах приводятся таблицы визуализаций, ячейки которых соответствуют различным метрикам качества, таким как метрики кластеризации, метрики корреляции, метрики выброса, метрики сложных структур и метрики сохранения функциональности. При этом техники визуализации, которые оценивались данными метриками, следующие: гистограммы, карты головоломки [68], диаграммы распространения, пиксельные столбиковые диаграммы [38], диаграмма укладки измерений [41], матрицы, диаграммы параллельных координат, круговые диаграммы и таблицы. Анализ производится на основе результатов из таблиц для разных метрик. Анализ, согласно статье, позволяет, во-первых, подробно описать методы, чтобы зафиксировать их ключевые компоненты. Во-вторых, позволяет выявить пробелы в исследованиях и многообещающие направления для будущих исследований.

Больше других метрик для нас интересны метрики, связанные с визуализацией онтологий, и такие метрики описываются в статье «Developing Non-Empirical Metrics and Tools for Ontology Visualizations Evaluation and Comparing» [6]. В этом исследовании авторы предложили несколько неэмпирических метрик оценки и сравнения визуализации онтологий. Эти показатели, согласно статье, делятся на две группы. В первую группу входят метрики, которые требуют экспертной оценки и носят полуформальный характер - это полнота, семантичность и консервативность. В качестве примеров приводятся сравнение визуализаций, построенных на базе VOWL Graphol и Logic Graphs. Во вторую группу входят полностью вычислимые метрики, построенные на основе формулы Хартли [1], которая позволяет нормализовать измерение сложности визуализаций онтологий, представленных в виде гиперграфов с матрицами инцидентности. В качестве примера сравниваются Logic Graphs с Graphol путем измерения среднего значения информативности визуализации аксиом из онтологии DoCO.

Как и для большинства других типов данных, есть много путей визуализации онтологических данных. Одним из популярных способов является визуализация онтологии в виде графа, так как онтологический граф без потери информативности может быть отображен с использованием данного типа визуализации. Упомянутая в [6] визуализация VOWL, как раз является ярким примером.

1.2 Средства визуализации

В нашей работе мы фокусируемся на представлении онтологии в виде графов и деревьев, поэтому обзор других методов будет опущен. Существующие решения на основе графов и деревьев можно классифицировать по следующим критериям:

1. Используемый алгоритм компоновки;

2. Объем визуализируемых данных;

3. Средства навигации;

4. Средства управления данными.

Далее, чтобы избежать повторений, обзор инструментов, проведём, отталкиваясь от инструментов, а не от критериев, и для каждого инструмента опишем его свойства. Также включим в рассмотрение инструменты, решающие задачи представления графов как таковых, а не онтологических графов в частности, потому что в большинстве случаев с использованием минимальных трудозатрат данные инструменты могут быть адаптированы под отображение онтологических данных.

Инструмент Plotly: Сетевая диаграмма 3D

Брэнд Plotly, известен по его URL в интернете: «Plot.ly». Plotly - это IT-компания, которая разрабатывает онлайн-инструменты для анализа и визуализации данных. Компания предоставляет веб-инструменты для построения визуализаций, выполнения аналитических услуг, а также инструменты, обеспечивающие подсчёт статистики. Более интересным для нас направлением деятельности Plotly является графическая библиотека с открытым исходным кодом Plotly Python - «Plotly Python Open Source Graphing Library» (PPOSGL) [61]. Plotly.py разработан под лицензией MIT и предоставляет широкий спектр диаграмм: линейные диаграммы, точечные диаграммы, диаграммы площадей, гистограммы, столбцы ошибок, коробочные диаграммы, гистограммы, тепловые карты, вспомогательные диаграммы, многоосевые диаграммы, полярные диаграммы, пузырьковые диаграммы. Но наиболее интересный для нас вид поддерживаемой диаграммы - это «Сетевая диаграмма 3D».

Список литературы диссертационного исследования кандидат наук Раздьяконов Даниил Сергеевич, 2024 год

Список литературы

[1] ИВ Башелханов. "Мера Хартли и аномалии в социофизическом эксперименте". в: Социофизика и социоинженерия'2018. 2018, с. 233—234.

[2] ТС Гудкова. "Префиксное сжатие индексов". в: Информатика: проблемы, методология, технологии. 2019, с. 1310—1314.

[3] Ольга Вадимовна Пескова. "О визуализации информации". в: Инженерный журнал: наука и инновации 1 (1) (2012).

[4] ДС Раздьяконов и др. "ПОДХОД К ОБРАБОТКЕ ПУСТЫХ УЗЛОВ ПРИ ПОРЦИОННОЙ ВИЗУАЛИЗАЦИИ ДАННЫХ НА ПРИМЕРЕ ИНСТРУМЕНТА ONTODIA". в: Программирование 6 (2020), с. 16—29.

[5] Temitope Ajileye, Boris Motik и Ian Horrocks. "Streaming Partitioning of RDF Graphs for Datalog Reasoning". в: (2020).

[6] I Baimuratov и др. "Developing Non-Empirical Metrics and Tools for Ontology Visualizations Evaluation and Comparing". в: Scientific Visualization 12.4 (2020).

[7] Robert Bamler и Stephan Mandt. "Dynamic word embeddings". в: International conference on Machine learning. PMLR. 2017, с. 380—389.

[8] Michael Behrisch и др. "Quality metrics for information visualization". в: Computer Graphics Forum. т. 37. 3. Wiley Online Library. 2018, с. 625— 662.

[9] Enrico Bertini, Andrada Tatu и Daniel Keim. "Quality metrics in high-dimensional data visualization: An overview and systematization". в: IEEE Transactions on Visualization and Computer Graphics 17.12 (2011), с. 2203— 2212.

[10] Ulrik Brandes и Christian Pich. "An experimental study on distance-based graph drawing". в: International Symposium on Graph Drawing. Springer. 2008, с. 218—229.

[11] Enrico G Caldarola и Antonio M Rinaldi. "Big data visualization tools: a survey". в: Research Gate (2017).

[12] Karlis Cerans h gp. "Extensible Visualizations of Ontologies in OWLGrEd". b: The Semantic Web: ESWC 2019 Satellite Events. nog peg. Pascal Hitzler h gp. Cham: Springer International Publishing, 2019, c. 191—196. ISBN: 978-3-030-32327-1.

[13] Sue VG Cobb h gp. "Virtual reality-induced symptoms and effects (VRISE)". b: Presence: Teleoperators & Virtual Environments 8.2 (1999), c. 169—186.

[14] Marc KD Coomans h Harry JP Timmermans. "Towards a taxonomy of virtual reality user interfaces". b: Proceedings. 1997 IEEE Conference on Information Visualization (Cat. No. 97TB100165). IEEE. 1997, c. 279—284.

[15] Frans W Cornelissen h Eli Brenner. "Simultaneous colour constancy revisited: an analysis of viewing strategies". b: Vision Research 35.17 (1995), c. 2431— 2448.

[16] Gabor Csardi, Tamas Nepusz h gp. "The igraph software package for complex network research". b: InterJournal, complex systems 1695.5 (2006), c. 1—9.

[17] Razdiakonov Daniil h gp. "A New Tool for Linked Data Visualization and Exploration in 3D/VR Space". b: European Semantic Web Conference. Springer. 2019, c. 167—171.

[18] Ciro Donalek h gp. "Immersive and collaborative data visualization using virtual reality platforms". b: 2014 IEEE International Conference on Big Data (Big Data). IEEE. 2014, c. 609—614.

[19] Adam Drogemuller h gp. "Evaluating navigation techniques for 3d graph visualizations in virtual reality". b: 2018 International Symposium on Big Data Visual and Immersive Analytics (BDVA). IEEE. 2018, c. 1—10.

[20] Adam Drogemuller h gp. "Examining virtual reality navigation techniques for 3D network visualisations". b: Journal of Computer Languages 56 (2020), c. 100937.

[21] Marek Dudas h gp. "Ontology visualization methods and tools: a survey of the state of the art". b: The Knowledge Engineering Review 33 (2018).

[22] Peter Eades h gp. "Shape-Based Quality Metrics for Large Graph Visualization." b: J. Graph Algorithms Appl. 21.1 (2017), c. 29—53.

[23] Mohamed El Beheiry h gp. "Virtual reality: beyond visualization". b: Journal of molecular biology 431.7 (2019), c. 1315—1321.

[24] Riccardo Falco и др. "Modelling OWL Ontologies with Graffoo". в: The Semantic Web: ESWC 2014 Satellite Events. под ред. Valentina Presutti и др. Cham: Springer International Publishing, 2014, с. 320—325. ISBN: 978-3-319-11955-7.

[25] Ajoy S Fernandes и Steven K Feiner. "Combating VR sickness through subtle dynamic field-of-view modification". в: 2016 IEEE symposium on 3D user interfaces (3DUI). IEEE. 2016, с. 201—210.

[26] John H Gennari и др. "The evolution of Protege: an environment for knowledge-based systems development". в: International Journal of Humancomputer studies 58.1 (2003), с. 89—123.

[27] John H Gennari и др. "The evolution of Protege: an environment for knowledge-based systems development". в: International Journal of HumanComputer Studies 58.1 (2003), с. 89—123. DOI: https://doi.org/10.1016/ S1071-5819(02)00127-1. URL: http://www.sciencedirect.com/science/article/ pii/S1071581902001271.

[28] Peter Haase и др. "metaphactory: A platform for knowledge graph management". в: Semantic Web 10.6 (2019), с. 1109—1125.

[29] Steffen Hadlak, Heidrun Schumann и Hans-Jorg Schulz. "A Survey of Multi-faceted Graph Visualization." в: EuroVis (STARs). 2015, с. 1—20.

[30] Tatsunori B Hashimoto, David Alvarez-Melis и Tommi S Jaakkola. "Word embeddings as metric recovery in semantic spaces". в: Transactions of the Association for Computational Linguistics 4 (2016), с. 273—286.

[31] Aidan Hogan. "Canonical Forms for Isomorphic and Equivalent RDF Graphs: Algorithms for Leaning and Labelling Blank Nodes". в: ACM Trans. Web 11.4 (июль 2017). DOI: 10.1145/3068333. URL: https://doi.org/10.1145/3068333.

[32] Ziniu Hu и др. "Gpt-gnn: Generative pre-training of graph neural networks". в: Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2020, с. 1857—1867.

[33] "Nicholas Humfrey". EasyRDF a PHP library designed to make it easy to consume and produce RDF. http://www.easyrdf.org. Accessed: 17 марта 2024 г.

[34] Jacek Jankowski h gp. "Integrating text with video and 3d graphics: The effects of text drawing styles on text readability". b: Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. 2010, c. 1321—1330.

[35] Yu-Cin Jian, Chao-Jung Wu h Jia-Han Su. "Learners' eye movements during construction of mechanical kinematic representations from static diagrams". b: Learning and Instruction 32 (2014), c. 51—62.

[36] Tomihisa Kamada, Satoru Kawai h gp. "An algorithm for drawing general undirected graphs". b: Information processing letters 31.1 (1989), c. 7—15.

[37] Akrivi Katifori h gp. "Ontology visualization methods—a survey". b: ACM Computing Surveys (CSUR) 39.4 (2007), 10—es.

[38] Daniel A Keim h gp. "Pixel bar charts: a visualization technique for very large multi-attribute data sets". b: Information Visualization 1.1 (2002), c. 20—34.

[39] Stephen G Kobourov. "Spring embedders and force directed graph drawing algorithms". b: arXiv preprint arXiv:1201.3011 (2012).

[40] Matt Kusner h gp. "From word embeddings to document distances". b: International conference on machine learning. PMLR. 2015, c. 957—966.

[41] Jeffrey LeBlanc, Matthew O Ward h Norman Wittels. "Exploring n-dimensional databases". b: Proceedings of the First IEEE Conference on Visualization: Visualization90. IEEE. 1990, c. 230—237.

[42] Bongshin Lee h gp. "Task taxonomy for graph visualization". b: Proceedings of the 2006 AVI workshop on BEyond time and errors: novel evaluation methods for information visualization. 2006, c. 1—5.

[43] Omer Levy h Yoav Goldberg. "Dependency-based word embeddings". b: Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2014, c. 302—308.

[44] Steffen Lohmann h gp. "WebVOWL: Web-based Visualization of Ontologies". b: (2015). nog peg. Patrick Lambrix h gp., c. 154—158.

[45] Steffen Lohmann h gp. "WebVOWL: Web-based visualization of ontologies". b: International Conference on Knowledge Engineering and Knowledge Management. Springer. 2014, c. 154—158.

[46] James McCrae h gp. "Multiscale 3D navigation". b: Proceedings of the 2009 symposium on Interactive 3D graphics and games. 2009, c. 7—14.

[47] Liam McNabb h Robert S Laramee. "Survey of surveys (SoS)-Mapping the landscape of survey papers in information visualization". b: Computer Graphics Forum. t. 36. 3. Wiley Online Library. 2017, c. 589—617.

[48] Dmitry Mouromtsev h gp. "A diagrammatic approach for visual question answering over knowledge graphs". b: European Semantic Web Conference. Springer. 2018, c. 34—39.

[49] Dmitry Mouromtsev h gp. "The Simple Web-based Tool for Visualization and Sharing of Semantic Data and Ontologies." b: International Semantic Web Conference (Posters & Demos). 2015.

[50] Dmitry Mouromtsev h gp. "The Simple Web-based Tool for Visualization and Sharing of Semantic Data and Ontologies." b: International Semantic Web Conference (Posters & Demos). 2015.

[51] Clifton Nock. Data access patterns: database interactions in object-oriented applications. Addison-Wesley Boston, 2004.

[52] Georgios A Pavlopoulos, Anna-Lynn Wegener h Reinhard Schneider. "A survey of visualization tools for biological network analysis". b: Biodata mining 1.1 (2008), c. 1—11.

[53] Helen C Purchase, David Carrington h Jo-Anne Allder. "Empirical evaluation of aesthetics-based graph layout". b: Empirical Software Engineering 7.3 (2002), c. 233—255.

[54] RS Raghav h gp. "A survey of data visualization tools for analyzing large volume of data in big data platform". b: 2016 International Conference on Communication and Electronics Systems (ICCES). IEEE. 2016, c. 1—6.

[55] Faisal Rahutomo, Teruaki Kitasuka h Masayoshi Aritsugi. "Semantic cosine similarity". b: The 7th International Student Conference on Advanced Science and Technology ICAST. t. 4. 1. 2012, c. 1.

[56] DS Razd'yakonov h gp. "Approach to Blank Node Processing in Incremental Data Visualization by the Example of Ontodia". b: Programming and Computer Software 46.6 (2020), c. 384—396.

[57] Bernhard E Riecke и др. "Do we need to walk for effective virtual reality navigation? Physical rotations alone may suffice". в: International Conference on Spatial Cognition. Springer. 2010, с. 234—247.

[58] Patrick Riehmann, Manfred Hanfler и Bernd Froehlich. "Interactive sankey diagrams". в: IEEE Symposium on Information Visualization, 2005. INFOVIS 2005. IEEE. 2005, с. 233—240.

[59] Xin Rong. "word2vec parameter learning explained". в: arXiv preprint arXiv:1411.2738 (2014).

[60] Mohammad Shoeybi и др. "Megatron-lm: Training multi-billion parameter language models using model parallelism". в: arXiv preprint arXiv:1909.08053 (2019).

[61] Carson Sievert. Interactive web-based data visualization with R, plotly, and shiny. CRC Press, 2020.

[62] Roberto Tamassia. Handbook of graph drawing and visualization. CRC press, 2013.

[63] Desney S Tan, George G Robertson и Mary Czerwinski. "Exploring 3D navigation: combining speed-coupled flying with orbiting". в: Proceedings of the SIGCHI conference on Human factors in computing systems. 2001, с. 418— 425.

[64] TopBraid Composer Maestro Edition is a modeling tool and an IDE for enterprise solutions. Learn how to to model ontologies, connect data sources, design queries, and to develop applications that work with semantic models. https://www.topquadrant.com/knowledge-assets/faq/tbc/. Accessed: 17 марта 2024 г.

[65] Jarke J Van Wijk. "The value of visualization". в: VIS 05. IEEE Visualization, 2005. IEEE. 2005, с. 79—86.

[66] Ashish Vaswani и др. "Attention is all you need". в: arXiv preprint arXiv:1706.03762 (2017).

[67] Colin Ware и Glenn Franck. "Viewing a graph in a virtual reality display is three times as good as a 2D diagram". в: Proceedings of 1994 IEEE Symposium on Visual Languages. IEEE. 1994, с. 182—183.

[68] Martin Wattenberg. "A note on space-filling visualizations and space-filling curves". b: IEEE Symposium on Information Visualization, 2005. INFOVIS 2005. IEEE. 2005, c. 181—186.

[69] Gerhard Wohlgenannt h gp. "Using Word Embeddings for Visual Data Exploration with Ontodia and Wikidata". b: BLINK/NLIWoD3@ISWC, ISWC. t. 1932. CEUR-WS.org, 2017.

[70] Gerhard Wohlgenannt h gp. "Using word embeddings for visual data exploration with ontodia and wikidata". b: arXiv preprint arXiv:1903.01275 (2019).

[71] Linting Xue h gp. mT5: A massively multilingual pre-trained text-to-text transformer. 2020. arXiv: 2010.11934 [cs.CL].

[72] Shehnaaz Yusuf, Huzefa Kagdi h Jonathan I Maletic. "Assessing the comprehension of UML class diagrams via eye tracking". b: 15th IEEE International Conference on Program Comprehension (ICPC'07). IEEE. 2007, c. 113—122.

[73] Ondrej Zamazal h Vojtech Svatek. "The ten-year ontofarm and its fertilization within the onto-sphere". b: Journal of Web Semantics 43 (2017), c. 46—53.

Список рисунков

1.1 Метрики эстетичности..................................................14

1.2 Метрики, основанные на форме........................................14

1.3 Сетевая диаграмма 3D - Сеть, отражающая совместное появление персонажей в романе Виктора Гюго «Отверженные» . 18

1.4 Инструмент Cy3d - скриншот с официального сайта................19

1.5 Инструмент Force Atlas 3D - простая визуализация................19

1.6 Инструмент Mayavi2 - структурированные и связанные данные. Визуализация «Scatter and Fields»....................................21

1.7 Инструмент Walrus - инструмент визуализации больших графов. 22

1.8 Сетевые инструменты 3D-визуализации для Mac OS X............23

1.9 Инструмент KiNG Display Software....................................24

1.10 Инструмент 3D Force-Directed Graph ..................................25

1.11 Инструмент 3D force graph - силовой иерархический алгоритм компоновки ..............................................................26

1.12 Инструмент Graph-Visualization (от Дэвида Пиегза)................26

1.13 Инструмент Graphosaurus (от Кори Фаревел)........................27

1.14 Инструмент Ngraph.pixel (от Андрея Кашка)........................28

1.15 Инструмент DiVE - интерактивная визуализация встроенных данных ....................................................................29

1.16 Инструмент OntoSphere - представление онтологии и главное представление ............................................................30

1.17 Представление конструкции RDF list ................................33

1.18 Представление конструкции owl : Restriction........................33

1.19 Представление конструкций в инструменте OntoGraph Protege . . 36

1.20 Конструкции owl : Restriction и owl : intersectionOf в инструменте WebVOWL................................................37

1.21 Представление конструкций в инструменте OWLGrEd..............38

1.22 Представление конструкций в инструменте EasyRdf ................39

1.23 Представление конструкций в инструменте TopBraid Composer . . 40

1.24 Представление конструкций в инструменте Ontodia................41

1.25 Базовая архитектура «Трансформер»................................48

1.26 Внутреннее строения энкодера и декодера............................49

1.27 Внимание скалирование скалярного произведения и внутреннее внимание ................................................................50

2.1 Пространство данных в двух измерениях............................54

2.2 Пространство данных в трёх измерениях............................55

2.3 Перемещение в пространстве данных на различных шагах .... 62

2.4 Двухмерное пространство данных и граф состояний визуализации 67

2.5 Состояния визуализации 1-4............................................68

3.1 Средство управления ОД (СУОД) и средство визуального управления ОД (СВУОД)..............................................73

3.2 Путь во взвешенном графе состояний ................................76

3.3 Архитектура инструмента О^о^а....................................78

3.4 Архитектура инструмента Ontodia3d..................................79

3.5 Ontodia - пример визуализации данных DBPedia....................80

3.6 Ontodia3D - Пример разделения элементов по группам с использованием третьего измерения ..................................80

3.7 Ontodia3D - пример визуализации данных DBPedia................81

3.8 Схема запроса данных с использованием алгоритма формирования контекстно зависимых идентификаторов ............84

3.9 Представление контекста ПУ ..........................................85

3.10 Упорядочивание узлов с использованием механизма внимания. . . 92

3.11 Метод представления онтологических данных ...........111

4.1 Испытательный стенд: a - инструмент управления в пространстве типов; Ь - инструмент управления в пространстве типов объектов (класс экземпляр); с - инструмент управление в пространстве свойств и атрибутов; d - инструмент управления

для трёх измерений пространства...................119

4.2 График приближения на примере одной процедуры поиска (базовая версия инструмента).....................120

4.3 График дистанции до цели в процессе поиска (базовая версия инструмента) ............................................................121

4.4 График дистанции до цели в процессе поиска (базовая версия инструмента)..............................122

4.5 Средние трудоемкости выполнения шагов поиска (базовая

версия инструмента)..........................122

4.6 График дистанции до цели в процессе поиска (модифицированная версия инструмента)..............123

4.7 График дистанции до цели в процессе поиска (модифицированная версия инструмента)..............124

4.8 Средние трудоемкости выполнения шагов поиска (модифицированная версия инструмента)..............124

4.9 График приближения на примере одной процедуры поиска (модифицированная версия инструмента)..............125

4.10 Сравнение средних трудоемкостей поиска на шагах ввод и осмотр 126

4.11 Сравнение графиков приближения к цели..............126

4.12 Сравнение результатов расчёта метрик трудоемкости поиска для различных версий инструмента .................... 127

4.13 Визуализация трехмерного пейзажа с аннотациями на базе инструмента Ontodia3d ........................128

4.14 Трехмерный снимок местности вокруг Британского Музея, выполненный с помощью технологии LIDAR............128

4.15 Представление трехмерной модели Башни и её связи с со статуэткой Iris .............................129

4.16 Визуализация биоинженерных данных 2D..............129

4.17 Визуализация биоинженерных данных 3D (1)............130

4.18 Визуализация биоинженерных данных 3D (2)............130

Список таблиц

1 Обзор существующих методов и инструментов - Часть 1..........31

2 Обзор существующих методов и инструментов - Часть 2..........32

3 Инструменты визуализации онтологических графов................40

4 Сравнение характеристик разных версий СРТ и похожих языковых моделей-трансформеров....................................47

5 Простейшие операции для шагов поиска..............................66

8 Возможные запросы данных к РаЪаРгоигАег........................83

9 Шаблоны для формирования естественного языка..................98

10 Дополнительные метки предикатов .................102