Сетевые механизмы обеспечения согласованности данных в распределенных системах виртуальной реальности тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Харитонов, Василий Юрьевич

• Харитонов, Василий Юрьевич
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Харитонов, Василий Юрьевич

СПИСОК КЛЮЧЕВЫХ ПОНЯТИЙ И СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

1. ПРОБЛЕМА СОЗДАНИЯ РАСПРЕДЕЛЕННЫХ КОМПЬЮТЕРНЫХ СИСТЕМ ДЛЯ ВОСПРОИЗВЕДЕНИЯ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ.

1.1. Уточнение представлений о распределенных системах виртуальной реальности.

1.1.1. Виртуальная реальность. Основные определения и понятия.

1.1.2. Распределенные системы виртуальной реальности.

1.1.3. Основные требования, предъявляемые кРСВР.

1.1.4. Сравнение РСВР с классическими распределенными системами.

1.2. Обзор и классификация существующих распределенных систем виртуальной реальности.

1.2.1. Тренажерные РСВР.

1.2.2. Сетевые виртуальные среды.

1.2.3. Многопользовательские сетевые компьютерные игры и метаверсы.

1.3. Ограниченность механизмов обеспечения согласованности данных в существующих РСВР.

1.4. Постановка задачи диссертационного исследования. Основные допущения.

1.5. Выводы.

2. ЗАДАЧА ОБЕСПЕЧЕНИЯ СОГЛАСОВАННОСТИ ДАННЫХ В РСВР И ПОДХОДЫ К ЕЕ РЕШЕНИЮ.

2.1. Формализованная модель распределенных вычислений в РСВР.

2.2. Уточнение понятия согласованности в РСВР.

2.2.1. Причинно-следственная согласованность.

2.2.2. Наблюдательная согласованность.

2.2.3. Согласованность видов виртуальной среды.

2.2.4. Предлагаемые метрики видовой согласованности.

2.2.5. Частотный подход к определению согласованности и вопросы надежности.

2.3. Аппаратные ограничения, влияющие на согласованность.

2.3.1. Латентность передачи данных.

2.3.2. Колебания латентности — джиггер.

2.3.3. Вычислительная мощность узла.

2.4. Вопросы масштабируемости в РСВР.

2.4.1. Сетевой подход.

2.4.2. Вычислительный подход.

2.5. Способы обеспечения согласованности данных в РСВР.

2.5.1. Согласованность, репликация и чувствительность.

2.5.2. Оптимизация протокола.

2.5.3. Фильтрация данных в соответствии с их значимостью.

2.5.4. Предсказание состояний объектов.

2.6. Выводы.

3. АРХИТЕКТУРА И СЕТЕВЫЕ МЕХАНИЗМЫ ОБЕСПЕЧЕНИЯ СОГЛАСОВАННОСТИ ДАННЫХ В РАСПРЕДЕЛЕННЫХ СИСТЕМАХ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ.

3.1. Разработка архитектуры РСВР.

3.1.1. Представление РСВР на различных уровнях абстракции.

3.1.2. Сетевые архитектуры взаимодействия процессов в РСВР.

3.1.3. Способы рассылки данных.

3.1.4. Разработка модели управления данными.

3.1.5. Выбор представления данных для хранения состояния виртуальной среды „

3.1.6. Предлагаемая архитектура РСВР.

3.2. Разработка высокоуровневого протокола межпроцессного взаимодействия DVRP.

3.2.1. Место разрабатываемого протокола в эталонной модели OSI.

3.2.2. Состав протокольных сообщений.

3.2.3. Форматы протокольных сообщений и битовые потоки.

3.2.4. Виды взаимодействий процессов.

3.2.5. Принцип «избирательной согласованности» и механизмы репликации данных.

3.3. Вспомогательные механизмы обеспечения согласованности.

3.3.1. Синхронизация часов в РСВР.

3.3.2. Разработка адаптивного метода репликации и предсказания состояний объектов, учитывающего динамику их движения.

3.3.3. Управление совместным доступом к состоянию виртуальной среды.

3.4. Выводы.

4. РАЗРАБОТКА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ПРОМЕЖУТОЧНОГО УРОВНЯ ДЛЯ ПОСТРОЕНИЯ РАСПРЕДЕЛЕННЫХ СИСТЕМ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ И ОЦЕНКА ЭФФЕКТИВНОСТИ РЕАЛИЗУЕМЫХ СРЕДСТВ

4.1. Тегга№1 — многоцелевая программная библиотека для разработки и исследования РСВР.

4.1.1. Обзор возможностей библиотеки TerraNet.

4.1.2. Состав и структура библиотеки.

4.1.3. Диаграмма классов ядра.

4.1.4. Идентификация процессов, объектов и атрибутов.

4.1.5. Пример работы с библиотекой TerraNet.

4.1.6. Примеры РСВР, созданных на базе библиотеки TerraNet.

4.2. Оценка эффективности разработанных средств.

4.2.1. Методика качественной оценки разработанных механизмов.

4.2.2. Эксперименты по качественной оценке разработанных механизмов.

4.2.3. Исследование возможностей масштабирования вычислительной среды.

4.3. Выводы.

5. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ РАЗРАБОТАННЫХ СРЕДСТВ.

5.1. Применение механизмов обеспечения согласованности в авиационных тренажерных комплексах.

5.1.1. Основные виды авиационных тренажеров.

5.1.2. Состав тренажера.

5.1.3. Постановка задачи.

5.1.4. Применение высокоуровневого протокола взаимодействия и алгоритмов синхронизации.

5.1.5. Применение адаптивного метода предсказания состояния объектов.

5.2. Внедрение в учебный процесс.

5.3. Перспективы применения и дальнейшего развития разработанных средств.

5.4. Выводы.

Введение диссертации (часть автореферата) на тему «Сетевые механизмы обеспечения согласованности данных в распределенных системах виртуальной реальности»

Общеизвестный факт: большую часть информации об окружающем мире человек получает с помощью зрения. Неудивительно, что компьютерная индустрия, выйдя в массы пользователей, стала интенсивно развиваться в сторону реалистичной визуализации всевозможных процессов. В настоящее время компьютерной графике уделяется самое пристальное внимание — от разработки эффектных и ресурсоемких оболочек операционных систем до реалистичной динамической ЗО-визуализации в научных задачах и поражающих воображение эффектов в новейших компьютерных играх. Однако долгое время данным направлением занимались лишь крупные вычислительные центры, поскольку только они имели в своем распоряжении дорогостоящие специализированные ЭВМ, способные обрабатывать и визуализировать в реальном времени огромные массивы данных, присущие трехмерной графике.

В последние 7—10 лет с появлением недорогих и достаточно производительных ПК интерес к интерактивным приложениям трехмерной графики значительно вырос. Сегодня трехмерная компьютерная графика развивается столь же быстро, как и вычислительная техника в целом. Программно-аппаратные средства с каждым годом становятся все более сложными и производительными и позволяют добиваться высокого реализма трехмерных виртуальных миров. Появился отдельный класс интерактивных трехмерных приложений — системы виртуальной реальности, которые позволяют пользователю не просто быть наблюдателем событий, происходящих в виртуальных мирах, но и непосредственно принимать в них участие.

Вместе с повышением реалистичности увеличивается, и масштаб создаваемых систем. С ростом пропускной способности вычислительных сетей растет интерес к распределенньш системам виртуальной реальности ([29], [35], [36], [38]).

Распределенные системы виртуальной реальности (РСВР) представляют собой один из наиболее динамично развивающихся классов распределенных систем

18, 62]. Повышенный интерес к таким системам, в первую очередь, связан с качественно новыми возможностями, которые они предоставляют человеку. Прежде всего, пользователю предоставляется возможность «погружения» в некоторую виртуальную среду, достаточно точно имитирующую реальный мир. Пользователь может взаимодействовать с объектами виртуальной среды, как визуально, так и с помощью различных устройств ввода-вывода. Однако главным свойством РСВР является возможность взаимодействия множества пользователей в общей для них виртуальной среде. РСВР позволяет пользователям работать совместно, невзирая на то, как далеко они друг от друга находятся, что может быть востребовано во многих прикладных областях.

Процесс разработки РСВР можно свести к решению следующих относительно независимых вычислительных подзадач:

1 ) формирование виртуального мира, являющегося интерактивным, единым и согласованным (или непротиворечивым, от англ. consistent) для удаленных пользователей системы;

2) задание законов движения и поведения объектов виртуальной среды с учетом управляющих воздействий пользователей;

3) качественная визуализация виртуальной среды.

Все эти подзадачи нацелены на решение главной задачи — создания максимально приближенной к реальным условиям виртуальной среды.

Существующие в настоящий момент РСВР в основном разрабатываются за рубежом. По сведениям, доступным в открытой печати (например, в [61, 64]), в данной области получены обнадеживающие результаты, однако, конкретные данные по многим ключевым вопросам отсутствуют. Кроме того, даже по имеющейся информации можно судить о наличии большого числа трудностей на пути создания таких систем, среди них:

- аппаратные ограничения, возникающие в сетях передачи данных, не позволяют пользователям РСВР получать согласованные виды виртуальной реальности, в результате чего сложно гарантировать непротиворечивость и одновременность протекающих в ней процессов для всех пользователей [62, 63]; применяемые для преодоления аппаратных ограничений методы все еще далеки от совершенства и в большинстве своем не предоставляют средств для динамической балансировки загрузки сети; фактически отсутствует общий архитектурный подход к созданию РСВР (о чем также косвенно свидетельствует отсутствие в литературе единой терминологии применительно к РСВР).

Для преодоления этих и других трудностей, возникающих при построении РСВР, в данной работе осуществляется разработка и обоснование механизмов обеспечения согласованности, направленных на уменьшение влияния сетевых аппаратных ограничений и повышение качества взаимодействия пользователей.

Цель работы: разработка и обоснование механизмов обеспечения согласованности данных в распределенных системах виртуальной реальности, позволяющих при использовании современных вычислительных средств снизить влияние аппаратных сетевых ограничений и общую нагрузку на сеть за счет использования гибких способов управления сетевым трафиком.

Для достижения поставленной цели должны быть решены следующие задачи: анализ существующих распределенных систем виртуальной реальности, выявление основных их типов и архитектурных особенностей; формализация распределенных вычислений в РСВР, разработка подходов к определению понятия согласованности данных и её оценке, выделение факторов, влияющих на согласованность; анализ базовых технологических принципов построения и разработка общей архитектуры РСВР; разработка высокоуровневого протокола взаимодействия процессов и других механизмов обеспечения согласованности данных в РСВР; разработка экспериментальной версии программного обеспечении промежуточного уровня, позволяющего создавать РСВР под конкретные области применения, на её основе — программной реализации опытной версии РСВР;

- проведение экспериментальных исследований по оценке эффективности разработанных механизмов на основе разработанной реализации РСВР;

- определение области применения разработанных средств и внедрение полученных результатов.

Объектом исследования данной работы являются распределенные системы виртуальной реальности.

Предмет исследования: сетевые механизмы обеспечения согласованности данных в распределенных системах виртуальной реальности.

Методы исследования. Системный анализ, теория множеств, элементы теории графов, теория распределенных систем, теория объектно-ориентированного программирования и натурный эксперимент.

Научная новизна работы. Новыми являются следующие полученные в диссертации результаты:

1) формализован процесс распределенных вычислений в РСВР с использованием событийного подхода, что позволило подойти к формальному определению понятия согласованности данных в таких системах;

2) предложены два возможных подхода к определению понятия согласованности данных: модели наблюдательной и видовой согласованности, последний подход позволяет оценить согласованность численно, на основе введенных оценок;

3) обоснованы и разработаны сетевые механизмы обеспечения согласованности данных в РСВР, в их числе: высокоуровневый протокол межпроцессного взаимодействия ИУЯР со встроенными механизмами управления репликацией данных на основе принципа «избирательной согласованности»; адаптивный метод репликации и предсказания состояний объектов, учитывающий динамику их движения; механизм управления совместным доступом многих пользователей к состоянию виртуальной среды; метод синхронизации часов процессов РСВР;

4) разработана общая архитектура РСВР для случая взаимодействия по схеме клиент-сервер, позволяющая применить созданные механизмы обеспечения согласованности.

Достоверность и обоснованность полученных в диссертации результатов подтверждается опытным макетированием РСВР и соответствием получаемых показателей результатам проведенных экспериментальных исследований, а также результатами внедрения разработанных средств.

Практическая ценность полученных результатов заключается в следующем:

1) экспериментально подтверждена возможность создания РСВР и определены вероятные области её применения, в их числе: образование и наука, тренажерные комплексы и другие области, требующие удаленного взаимодействия многих участников (пример — территориально-распределенные ситуационные центры);

2) на базе предложенных механизмов обеспечения согласованности разработана экспериментальная программная библиотека TerraNet, представляющая собой ПО промежуточного уровня (middleware), которая позволяет создавать РСВР для конкретных областей применения, с возможностью их гибкой настройки. В частности, на её основе на кафедре ВМСиС МЭИ (ТУ) была разработана программная среда для модельного воспроизведения группового полета летательных аппаратов над местностью [21, 43];

3) предложенные в работе сетевые механизмы нашли применение в опытных версиях комплексных авиационных тренажеров, разрабатываемых ЗАО «Транзас» и ОАО «ОКБ Сухого»;

4) полученные в диссертационном исследовании результаты были использованы на кафедре ВМСиС МЭИ (ТУ) при выполнении госбюджетной НИР (гос. per. № 01200605949), а также при подготовке курса лекций и лабораторных работ по дисциплине для магистров «Компьютерные технологии в науке и образовании», прочитанного в сентябре 2009 года;

5) исследования, проводимые по теме диссертации, поддержаны: программой Рособразования «Развитие научного потенциала высшей школы» (проект

2.1.2/6718 «Стратегии организации и поддержки крупномасштабных вычислений в распределенных средах»; мероприятие: 2. «Проведение фундаментальных исследований в области естественных, технических и гуманитарных наук. Научно-методическое обеспечение развития инфраструктуры вузовской науки», раздел: 2.1. «Проведение фундаментальных исследований в области естественных, технических и гуманитарных наук», подраздел: 2.1.2. «Проведение фундаментальных исследований в области технических наук»); Федеральной целевой программой «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы (Государственный контракт П2227 «Программные модели и системы планирования распределённых вычислений»; «Проведение поисковых научно-исследовательских работ по направлениям: «Механика», «Информатика», «Математика», выполняемому в рамках мероприятия 1.2.1 «Проведение научных исследований научными группами под руководством докторов наук», мероприятия 1.2 «Проведение научных исследований научными группами под руководством докторов наук и кандидатов наук» направления 1 «Стимулирование закрепления молодежи в сфере науки, образования и высоких технологий»); Советом по грантам Президента Российской Федерации на право получения средств для государственной поддержки ведущих научных школ Российской Федерации (грант НТТТ-7239.2010.9 «Планирование масштабных вычислений и управление ресурсами распределенных вычислительных сред»).

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих научных и научно-технических конференциях:

- Третья Европейская научно-технической конференции по аэрокосмическим наукам EUCASS-2009 (Грант РФФИ 09-07-09229-мобз). Место проведения: Версаль, Франция. Организаторы: EUCASS и ASTech Paris Region при поддержке Французского национального центра научных исследований (CNRS). 6-9 июля 2009 г.

- Третья Всероссийская научная конференция «Методы и средства обработки информации». Место проведения: Москва. Организатор: МГУ им. М. В. Ломоносова. 6-8 октября 2009 г.

- Международная конференция по проблемам надежности вычислительных систем DepCoS-RELCOMEX. Место проведения: Польша. Организатор: Вроцлав-ский Технологический университет при поддержке Института инженеров по электротехнике и электронике (IEEE). 2007, 2008, 2009 гг.

- Международная конференция «Параллельные вычисления и проблемы управления» РАСО. Место проведения: Москва. Организатор: Институт проблем управления им. В.А. Трапезникова РАН. 2006, 2008 гг.

- Международная научно-техническая конференция «Информационные средства и технологии». Место проведения: Москва. Организатор: МЭИ (ТУ) и МГТУ «СТАНКИН». 2005, 2006, 2007 гг.

- Международная научно-техническая конференция студентов и аспирантов «Радиоэлектроника, электротехника и энергетика». Место проведения: Москва. Организатор: МЭИ (ТУ). 2006, 2007, 2008 гг.

Публикации. Основные результаты, полученные при выполнении диссертационной работы, опубликованы в 13 печатных работах (4 из них — на английском языке), включая 1 работу в издании, рекомендуемом ВАК.

Структура диссертации. Основная часть диссертации состоит из введения, пяти глав и заключения и содержит 157 страниц машинописного текста, 51 рисунок и 3 таблицы. Список литературы включает 71 наименование. Дополнительная часть содержит 4 приложения. Общий объем диссертации — 187 страниц машинописного текста (51 рисунок, 8 таблиц).

Заключение диссертации по теме «Вычислительные машины и системы», Харитонов, Василий Юрьевич

5.4. Выводы

Данная глава была посвящена практическому применению разработанных механизмов и программных средств. Были рассмотрены две области применения: авиационные тренаэ!серные комплексы и учебный процесс'.

- внедрение высокоуровневого протокола межпроцессого взаимодействия и методов предсказания в распределенную систему визуализации авиатренажера позволило повысить согласованность между её отдельными каналами и тем самым значительно увеличить качество получаемого панорамного изображения;

- использование библиотеки Тегта№1 и системы распределенного моделирования виртуальных трехмерных сцен ShareEd.it в учебном процессе позволило познакомить студентов с проблематикой распределенных систем виртуальной реальности и продемонстрировать им идею совместной работы в рамках единой виртуальной среды.

В заключении главы была рассмотрена еще одна область применения — космическая отрасль, а также сформулированы перспективы дальнейшего исследования в направлении темы диссертации.

ЗАКЛЮЧЕНИЕ

Основная цель диссертационной работы — разработка и обоснование механизмов обеспечения согласованности данных в распределенных системах виртуальной реальности, позволяющих при использовании современных вычислительных средств снизить влияние аппаратных сетевых ограничений и общую нагрузку на сеть — достигнута.

В ходе выполнения диссертационной работы были получены следующие результаты.

1) Формализован процесс распределенных вычислений в РСВР с применением событийной модели обмена сообщениями. Предложены подходы к определению понятия согласованности на основе моделей наблюдательной и видовой согласованности, позволяющие учитывать особенности распределенных вычислений в РСВР. Введены метрики для оценки видовой согласованности, позволяющей непосредственно измерить разницу между репликами состояний виртуальной среды в процессах системы.

2) Разработана общая программная архитектура РСВР для случая взаимодействия по схеме клиент-сервер. В рамках данной архитектуры обоснованы и разработаны следующие механизмы обеспечения согласованности данных в РСВР:

М1. высокоуровневый протокол межпроцессного взаимодействия ИУКР, позволяющий организовать взаимодействие между процессами РСВР на более высоком логическом уровне, при меньшей загрузке сети за счет поддержки сообщений переменной длины и встроенных механизмов управления репликацией данных на основе принципа «избирательной согласованности»;

М2. адаптивный метод репликации и предсказания состояния объекта, позволяющий за счет учета динамики движения объекта уменьшить нагрузку на сеть при одновременном повышении точности предсказания состояний объектов;

МЗ. механизм управления совместным доступом к состоянию виртуальной среды, позволяющий корректно обрабатывать одновременные обращения нескольких процессов к одному объекту и разрешать связанные с этим ситуации нарушения согласованности;

М4. метод синхронизации часов процессов РСВР, основанный на алгоритме Кристиана, и позволяющий достигнуть большей точности синхронизации процессов, за счет учета статистики изменения ла-тентности при коррекции показаний часов.

3) С применением разработанных архитектуры и сетевых механизмов обеспечения согласованности данных разработана программная библиотека ТеггаЫе^ представляющая собой программное обеспечение промежуточного уровня для построения РСВР.

4) Разработана методика качественной оценки разработанных сетевых механизмов, позволяющая установить взаимосвязь между согласованностью состояний объектов на различных процессах РСВР и количеством потребляемых сетевых ресурсов. С помощью созданной методики экспериментально подтверждена эффективность и обоснованность разработанных сетевых механизмов, произведено исследование возможностей масштабируемости вычислительной среды.

5) Разработанные средства доказали свою эффективность на практике в авиационных тренажерных комплексах, а также нашли применение в учебном процессе.

Список литературы диссертационного исследования кандидат технических наук Харитонов, Василий Юрьевич, 2010 год

1. Архитектура виртуальных миров / Под ред. М.Б. Игнатьева, A.B. Никитина, А.Е. Войскунского. — ГУАП, 2009.

2. Бабенко, B.C. Виртуальная реальность: Толковый словарь терминов / B.C. Бабенко. СПб.: ГУАП, 2006.

3. Боресков, A.B. Графика трехмерной компьютерной игры на основе OpenGL / A.B. Боресков. М.: Диалог-МИФИ, 2004.

4. Боресков, A.B. Расширения OpenGL / A.B. Боресков. СПб.: БХВ-Петербург, 2005. - 688 с.

5. Брежнев, А.Ф. Семейство протоколов TCP/IP Электронный ресурс. / А.Ф. Брежнев, PJL Смелянский. Электрон, дан. - Режим доступа: http://www.lib.ru/TCPBOOK.

6. By, M. OpenGL. Официальное руководство программиста / М. By, Д. Нейдер, Т. Девис, Д. Шрайнер. Киев: «ДиаСофт», 2002. - 592 с.

7. ГОСТ 19.701-90. Схемы алгоритмов, программ, данных и систем.

8. ГОСТ 7.1-2003. Библиографическая запись. Библиографическое описание. Общие требования и правила составления.

9. ГОСТ 7.32-91. Отчет о научно-исследовательской работе. Структура и правила оформления.

10. Елисов, JI.H. Качество профессиональной подготовки авиационного персонала и безопасность воздушного транспорта: Монография / JI.H. Елисов. М.: Исследовательский центр проблем качества подготовки• специалистов, 2006. — 244 с.

11. Окольнишников, В.В. Представление времени в имитационном моделировании / В.В. Окольнишников // Вычислительные технологии. Т. 10, №5, Сибирское отделение РАН, 2005. С. 57-77.

12. Приемы объектно-ориентированного проектирования / Э. Гамма, Р. Хелм, Р. Джонсон, Дж. Влиссидес. Паттерны проектирования. СПб.:1. Питер, 2007.

13. Реальные деньги виртуальной реальности Электронный ресурс. -Электрон, дан. — Режим доступа: http://www.ve-group.ru/vrl391.html.

14. Страуструп, Б. Язык программирования С++. Специальное издание / Б. Страуструп. Пер. с англ. М.: ООО «Бином-Пресс», 2005 г. - 1104 с.

15. Таненбаум, Э. Распределенные системы: принципы и парадигмы / Э. Таненбаум, М. Стен. СПб.: «Питер», 2003. - 877 с.

16. Тель, Ж. Введение в распределенные алгоритмы / Ж. Тель. — М.: МЦНМО, 2009.-616 с.

17. Топорков, В.В. Модели распределенных вычислений / В.В. Топорков. -М.: ФИЗМАТЛИТ, 2004. 320 с.

18. Харитонов, В.Ю. Вычислительные аспекты построения распределенных систем виртуальной реальности / В.Ю. Харитонов, И.И. Дзегеле-нок, Д.А. Орлов // Вестник Московского Энергетического института, №5, 2008 г. М.: Изд. дом МЭИ, 2008. - С. 27-32.

19. Babaoglu, О. Consistent Global States of Distributed Systems: Fundamental Concepts and Mechanisms / O. Babaoglu, K. Marzullo // Distributed Systems, Addison-Wesley, Wokingham, 1993. — P. 55-96.

20. Bartle, R. Interactive multi-user computer games / R. Bartle // Technical report, British Telecom, 1990. Electronic resource. Electronic data. — Режим доступа: http://www.mud.co.uk/richard/imucg.htm.

21. Blanchard, С. Reality built for two: A virtual reality tool. In Computer Graphics / C. Blanchard et al. // Symposium on Interactive 3D Graphics, R. Riesenfeld and C. Sequin, Eds., vol. 24, 1990. P. 35-36.

22. Blow, J. A look at latency in networked games / J. Blow // Game Developer, 5(7), 1998.-P. 28-40.

23. Bouillot, N. Consistency models for distributed interactive multimedia applications / N. Bouillot, E. Gressier-Soudan // SIGOPS Oper. Syst. Rev. 38, 4 (Oct. 2004), 2004. P. 20-32.

24. Cai, W. An auto-adaptive dead reckoning algorithm for distributed interactive simulation / W. Cai, F. Lee, L. Chen // Proceedings of the Thirteenth Workshop on Parallel and Distributed Simulation. May 1999. - P. 82-89.

25. NPSNET-V: A New Beginning for Dynamically Extensible Virtual Environments / M. Capps et al. // IEEE Computer Graphics & Applications, vol. 20, 2000.-P. 12-15.

26. Coulouris, G. Distributed Systems: concepts and design / G. Coulouris, J. Dollimore, T. Kindberg. Addison-Wesley, third edition, 2001.

27. Cristian, F. Probabilistic clock synchronization / F. Cristian // Distributed Computing, Vol. 3, 1989. P. 146-158.

28. Delaney, D. On consistency and network latency in distributed interactive applications: a survey part I / D. Delaney, T. Ward, S. McLoone // Presence: Teleoper. Virtual Environ. 15, 2 (Apr. 2006). - MIT Press Cambridge, MA, USA, 2006. P. 218-234.

29. Diot, C. A Distributed Architecture for Multiplayer Interactive Applications on the Internet / C. Diot, L. Gautier // IEEE Networks magazine, Vol. 13, 1999.-P. 6-15.

30. Frécon, E. DIVE: A Scaleable network architecture for distributed virtual environments / E. Frécon, M. Stenius // Distributed Systems Engineering Journal (special issue on Distributed Virtual Environments), 5(3), 1998. — P. 91-100.

31. Funkhouser, T. RING: A Client-Server System for Multi-User Virtual Environments / T. Funkhouser // Symposium on Interactive 3D Graphics, April 1995.-P. 85-92.

32. High-level development of multiserver online games / F. Glinka et al. // Int. J. Comput. Games Technol, Jan. 2008, 2008. P. 1-16.

33. Greenhalgh, C. MASSIVE: a collaborative virtual environment for teleconferencing / C. Greenhalgh, S. Benford // ACM Transactions on ComputerHuman Interaction 2, 3. P. 239-261.

34. IEEE standard for information technology protocols for distributed simulation applications: Entity information and interaction // IEEE standard 12781993. - New York: IEEE Computer Society, 1993.

35. IEEE Standard for Modeling and Simulation (M&S) High Level Architecture (HLA) Framework and Rules // IEEE Standard 1516-2000 (2000).

36. Kshemkalyani, A. Distributed Computing: Principles, Algorithms, and Systems / A. Kshemkalyani, M. Singhal. Cambridge University Press, New York, NY, USA, 2008.

37. Lamport, L. Time, clocks, and the ordering of events in a distributed systern. Commun / L. Lamport. ACM, 1978. - P. 558-565.

38. MÄK High Performance RTI Electronic resource. Electronic data. — Режим доступа: http://www.mak.com/products/rti.php.

39. Matijasevic, M. A framework for multi-user distributed virtual environments / M. Matijasevic et al. // Proceedings of the IEEE Transactions on systems, man, and cybernetics Part B: Cybernetics, Vol. 32, No. 4, 2002. — P. 416^*29.

40. Mieloszyk, K. Component Based Flight Simulation in DIS Systems / K. Mieloszyk, B. Wiszniewski // Distributed and Parallel Systems. Springer Netherlands, Vol. 777, 2005. - P. 173-181.

41. Mills, D. L. Internet time synchronization: the network time protocol / D. L. Mills // IEEE Transactions on Communications, 39(10), 1991. P. 1482-1493.

42. Morse, K. L. Interest Management in Large-Scale Distributed Simulations / K. L. Morse // Technical report of Department of Information and Computer Science, university of California, Irvine, 1996.

43. OpenSceneGraph an open source high performance 3D graphics toolkit Electronic resource. - Electronic data. - Режим доступа:http://www.openscenegraph.org.

44. Pitch pRTI Electronic resource. Electronic data. — Режим доступа: http://www.pitch.se/products/prti.

45. Pope, A. The SIMNET network and protocols / A. Pope // Technical Report 7102. Cambridge, MA: BBN Systems and Technologies, 1989.

46. Qin, J. A framework using cluster-based hybrid network architecture for collaborative virtual surgery / J. Qin et al. // Computer Methods and Programs in Biomedicine, Volume 96, Issue 3. Elsevier, Ireland, 2009. P. 205-216.

47. Quake Live Electronic resource. Electronic data. - Режим доступа: http://www.quakelive.com.

48. Second Life Project Electronic resource. Electronic data. - Режим доступа: http://secondlife.com/.

49. Shaw, С. Decoupled Simulation in Virtual Reality with the MR Toolkit / C. Shaw et al. // ACM Transactions on Information Systems, 11(3), 1993. — P. 287-317.

50. Singhal, S. Networked Virtual Environments: Design and Implementation / S. Singhal, M. Zyda. USA, MA: ACM Press/Addison Wesley, 1999.

51. Smed, J. Algorithms And Networking for Computer Games / J. Smed, H. Hakonen. UK, Chichester: John Wiley & Sons, 2006.

52. Source Multiplayer Networking. Valve Software Electronic resource. -Electronic data. Режим доступа: http://developer.valvesoftware.com/wiki/ SourceMultiplayerNetworking.

53. Stevens, W. R. UNIX Network Programming Volume 1, Third Edition: The Sockets Networking API / W. R. Stevens, B. Fenner, A. M. Rudoff. Addison Wesley, 2003.

54. Strassburger, S. Future trends in distributed simulation and distributed virtual environments: results of a peer study / S. Strassburger, T. Schulze, R. Fujimoto // In Proceedings of the 40th Conference on Winter Simulation

55. Miami, Florida, December 07 10, 2008). - Miami, Florida, USA, 2008. -P. 777-785.

56. The Portico Project Electronic resource. — Electronic data. — Режим доступа: http://porticoproject.org.

57. Tse-Au, E.S.H. End-to-end QoS measurement: analytic methodology of application response time vs. tunable latency in IP networks / E.S.H. Tse-Au, P.A. Morreale // Proceedings of IEEE/IFIP Network Operations and Management Symposium, 2000. P. 129-142.

58. Waters, R. Diamond Park and Spline: Social Virtual Reality with 3D Animation, Spoken Interaction and Runtime Extendability / R. Waters et al. // Presence, 6(4), 1997. P. 461-481.

59. Zackariasson, P. Massively Multiplayer Online Games: A 21 Century Service / P. Zackariasson, T. L. Wilson // Proceedings of the Other Players Conference. It University of Copenhagen, December 6-8 2004. - Copenhagen: IT University of Copenhagen, 2004.

60. Zhou, S. Time-Space Consistency in Large-Scale Distributed Virtual Environments / S. Zhou et al. // ACM Trans. Model. Comput. Simul. Vol. 14, 1, 2004. P. 31-47.