Модели и методы сонификации киберфизических систем тема диссертации и автореферата по ВАК РФ 05.13.01, доктор наук Рогозинский Глеб Гендрихович

• Рогозинский Глеб Гендрихович
• доктор наук
• 2021

Оглавление диссертации доктор наук Рогозинский Глеб Гендрихович

ВВЕДЕНИЕ

ГЛАВА 1. ПРОБЛЕМЫ ПОЛИМОДАЛЬНОГО МОНИТОРИНГА КИБЕРФИЗИЧЕСКИХ СИСТЕМ

1.1. Характеристика киберфизических систем как объекта исследования

1.1.1. Определение киберфизических систем

1.1.2. Приложения киберфизических систем

1.1.3. Киберфизические системы и схожие концепции

1.1.4. Киберфизические системы в контексте технологической платформы Индустрии

1.1.5. Проблемы развития киберфизических систем

1.2. Полимодальное восприятие информации в задачах мониторинга

1.2.1. Человек как часть инфокоммуникационной системы

1.2.2. Сенсорные системы человека

1.2.3. Сравнительный анализ сенсорных систем

1.2.4. Неречевое представление данных

1.2.5. Обобщение основных преимуществ аудиального представления информации

1.3. Определение проблемы и постановка цели научного исследования

ВЫВОДЫ ПО ГЛАВЕ

ГЛАВА 2. СОНИФИКАЦИЯ КАК МЕТОД ПОВЫШЕНИЯ ПОЛИМОДАЛЬНОЙ ИММЕРСИВНОСТИ В УСЛОВИЯХ

МОНИТОРИНГА КИБЕРФИЗИЧЕСКОЙ СРЕДЫ

2.1. Мультидоменная модель КФС

2.1.1. Критерии выбора модели КФС и поиск вариантов

2.1.2. Общее описание мультидоменной модели

2.2. Методы сонификации как основа аудиального представления

данных

2.2.1. Терминологические аспекты сонификации

2.2.2. Особенности основных методов сонификации

2.2.3. Сравнительный анализ методов сонификации

2.3. Звуковые объекты и методы их описания

2.3.1. Проблемы описания тембра

2.3.2. Тембральные и звуковые пространства

2.4. Постановка задач научного исследования

ВЫВОДЫ ПО ГЛАВЕ

ГЛАВА 3. МОДЕЛИ КИБЕРФИЗИЧЕСКИХ СИСТЕМ НА ОСНОВЕ МОДИФИЦИРОВАННОЙ МУЛЬТИДОМЕННОЙ МОДЕЛИ

3.1. Модифицированная мультидоменная модель полимодальных систем

3.1.1. Модификация мультидоменной модели

3.1.2. О некоторых допущениях модели

3.1.3. Основные отличия модифицированной мультидоменной модели от предшествующей модели коммуникаций

3.2. Комплекс моделей киберфизических систем на основе мультидоменной модели

3.2.1. Модель киберфизического атома

3.2.2. Модель киберфизической топологии

3.2.3. Модель киберфизического кластера

3.2.4. Киберфизическая иерархия

3.3. Практическая часть

3.3.1. Модель роя как КФС

3.3.2. Модель экзоскелета как КФС

ВЫВОДЫ ПО ГЛАВЕ

ГЛАВА 4. ЗВУКОВЫЕ И ТЕМБРАЛЬНЫЕ ПРОСТРАНСТВА В ЗАДАЧАХ СОНИФИКАЦИИ

4.1. Комплекс моделей звуковых пространств для сонификации

4.1.1. Преобразования внутри тракта сонификации

4.1.2. Три класса звуковых пространств

4.1.3. Описание трех классов звуковых пространств в терминах

мультидоменной модели

4.1.4. О некоторых ограничениях моделей звуковых пространств

4.1.5. Несколько примеров описания звуковых объектов в комплексе моделей звуковых пространств

4.2. Комплекс моделей многомерных тембральных пространств

4.2.1. Сегментирование тембрального пространства

4.2.2. Проектирование тембральных пространств

4.3. Экспериментальные исследования и анализ результатов

ВЫВОДЫ ПО ГЛАВЕ

ГЛАВА 5. МЕТОДЫ И МОДЕЛИ ОТОБРАЖЕНИЯ ЭЛЕМЕНТОВ КИБЕРФИЗИЧЕСКИХ СИСТЕМ В ЗАДАЧАХ СОНИФИКАЦИИ

5.1. Методы отображения состояния киберфизических систем на

звуковые пространства сонификации

5.1.1. Меры по обеспечению контраста звуковых объектов

5.1.3. Звуковое представление моделей киберфизических систем

5.2. Метод отображения состояния киберфизических систем

на многомерные тембральные пространства

5.2.1. Метрика в тембральном пространстве

5.2.2. Определение метатезауруса отображения

5.2.3. Постановка и решение задачи оптимизации проектирования тембральных траекторий

5.2.4. Введение символьного описания

5.3. Экспериментальные исследования и анализ результатов

5.4. Практическая часть

ВЫВОДЫ ПО ГЛАВЕ

ГЛАВА 6. АРХИТЕКТУРА КОМПЛЕКСОВ СОНИФИКАЦИИ КИБЕРФИЗИЧЕСКИХ СИСТЕМ

6.1. Обобщенная архитектура комплексов полимодального мониторинга киберфизических систем

6.1.1. Интернет звука и конвергенция звуковых технологий

6.1.2. Приложения Интернета звука

6.1.3. Перспективные сервисы Интернета звука

6.2. Программные аспекты систем сонификации

6.2.1. Сравнительный анализ языков синтеза и обработки звука

6.2.2. Особенности языка программирования Csound

6.3. Описание экспериментального комплекса сонификации

сложных сетей

6.4. Практическая часть

ВЫВОДЫ ПО ГЛАВЕ

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

ПРИЛОЖЕНИЕ А. ЛИСТИНГИ ПРОГРАММ WINTERMUTE И SHADOWS ДЛЯ СОНИФИКАЦИИ НА ЯЗЫКЕ CSOUND

ПРИЛОЖЕНИЕ Б. ЭКСПЕРИМЕНТАЛЬНЫЕ ДАННЫЕ

ПРИЛОЖЕНИЕ В. АКТЫ РЕАЛИЗАЦИИ РЕЗУЛЬТАТОВ

ИССЛЕДОВАНИЯ

Введение диссертации (часть автореферата) на тему «Модели и методы сонификации киберфизических систем»

ВВЕДЕНИЕ

Актуальность темы исследования. Киберфизические системы (КФС), наряду с кибербиологическими и киберсоциальными системами, в последнее время становятся одним из ключевых элементов современных инфотелекоммуникацион-ных систем (ИТС). Интернет вещей, как революционная концепция прошлых нескольких лет, является фундаментальным понятием в контексте КФС. Однако, в отличие от Интернета вещей, выделяющего, в первую очередь, межмашинные соединения, концепция КФС основана на дуализме физической и кибернетической (информационной) сред.

Обращаясь к прикладной области, следует отметить тенденцию к информатизации многих элементов окружающего мира. Степень проникновения варьируется от сенсоров, передающих информацию о состоянии живого организма, до точных моделей, описывающих текущее состояние элемента внутри умного производства. В этой связи является очевидным тот факт, что тотальная «цифровизация» является лишь вопросом времени. Это особенно актуально для технических областей, в которых коэволюция с инфотелекоммуникационными технологиями в ряде случаев началась намного раньше других областей.

Иммерсия физической, биологической и социальной сред в киберпростран-ство предоставляет значительные возможности, однако неизбежно сопряжена с новыми проблемами, одной из которых является проблема мониторинга. В течение последних нескольких лет человечество произвело объем данных, сопоставимый со всей существующей информацией за всю историю человечества. Возможность регистрировать в буквальном смысле всё приводит к накоплению значительных массивов данных, что является фундаментальной проблемой для исследований в области Больших данных, еще одного ключевого элемента пост -NGN (Next Generation Networks, сети следующего поколения). Различные виды автоматизированной обработки данных и получения знаний упрощают работу с такими данными, од-

нако самым уязвимым элементом системы мониторинга является человек. При общей тенденции к информатизации и использованию интеллектуальных и когнитивных систем, по-прежнему существует множество областей, в которых исключение человека-оператора в ближайшее время не представляется возможным. Это области, связанные с безопасностью критически важных инфраструктурных объектов государственного значения, область здравоохранения, транспортные системы и т. д. Возможность получения при минимальных затратах доступа к практически любым данным, отражающим состояние системы, умноженная на внушительную глубину проникновения сенсорного слоя внутрь объектов мониторинга, дает экспоненциально возрастающие потоки данных. К этому феномену следует добавить тенденцию к использованию всепроникающих интерфейсов, когда любое пользовательское устройство - смартфон, умные часы, очки дополненной реальности -превращается в интерфейс информационной системы. Естественная миниатюризация подобных устройств усложняет визуальное представление информации пользователю, что требует большего времени для отображения необходимой информации. Взаимодействуя с окружающим миром, человек задействует в различной мере в зависимости от ситуации все свои сенсорные системы - зрительную, слуховую, тактильную, ольфакторную и вкусовую. Вследствие ограниченности технологий, вычислительная техника изначально представляла информацию только визуально, посредством текстовых, затем графических интерфейсов. Следующим этапом было добавление звуковых сигналов для оповещения о ключевых событиях тех или иных процессов. Несколько позднее стали использоваться тактильные интерфейсы. В последнее время имеют место экспериментальные разработки в области ольфактор-ных и вкусовых интерфейсов. Следует отметить, что степень задействования различных сенсорных систем человека при взаимодействии с интерфейсами коррелирует с его погружением в киберпространство и, тем самым, является своего рода показателем приближения человека к пост-человеку (post-human).

На сегодняшний день уже существует определенное количество полимодальных интерфейсов (ПМИ), то есть интерфейсов, использующих несколько модаль-

ностей восприятия, например, зрительную и слуховую. Наибольшее распространение ПМИ имеют в области компьютерных игровых технологий и различных форм компьютерного искусства. Промышленная сфера, в частности, КФС, в силу очевидных причин оказывается здесь более консервативной. Отсутствие системного подхода к проектированию ПМИ с учетом особенностей работы соответствующих сенсорных систем человека обуславливает актуальность исследований, направленных на повышение модальности человеко-машинных интерфейсов (ЧМИ).

В полимодальном срезе становится очевидным, что аудиальная компонента (звук) является, с одной стороны, крайне важной модальностью, с другой - по-прежнему неразработанной областью в контексте представления информации, особенно в случае с неречевым звуком. Это обстоятельство обусловило акцент в работе на методах неречевого звукового представления информации (сонификации).

Степень разработанности темы исследования. Среди значительного количества исследований, посвященных КФС, только некоторые авторы рассматривают их в связи с проблематикой взаимодействия с ЧМИ, в т. ч. с полимодальными. К их числу относятся работы Ронжина А. Л., Басова О. О., Карпова А. А., Соколова Б. В., Юсупова Р. М., E. Omerdic, D. Toal, Z. Vukic, G. Dooly. Однако, данные исследования характеризуются тем, что: а) сфокусированы на вопросах управления, б) в части аудиальной модальности опираются исключительно на речевое представление данных. В работах Карпова А.А. рассматриваются, в том числе, и неречевые (невербальные) акустические события, однако, в контексте их анализа в ассистив-ных системах.

Различным моделям, в той или иной степени учитывающим взаимодействие в рамках сложных систем, в том числе и КФС, посвящены работы J. Lee, B. Bagheri, H. Kao, A. Hahn, R.K. Thomas, I. Lozano, A. Cardenas, D. Shin, J. Park, E. Kusmenko, A. Roth, B. Rumpe, M. von Wenkstern, H. Zhuge, Z. Liu, D. Yang, Сотникова А. Д. В подавляющем большинстве моделей, представленных в работах указанных авторов, отсутствуют средства символьного описания КФС, за исключением инструментария мультидоменной модели инфокоммуникаций Сотникова А.Д.

Вопросами би-, мульти- и полимодального восприятия в контексте инженерной психологии занимались I. Bernstein, W. Dou, B. Edelstein, E. Egeth, W. Elmen-reich, Y. Li, P. McLeod, J. Middlebrooks, L. C. Sager, R. L. Taylor, C. D. Wickens, N. Wiener, D. Wynn, N. Xiong, F. Zhou, Бобнев М. И., Борисов С. В., Бутов В. И., Глезер В. Д., Данилова Н. Н., Денисов В. Г., Дьяконов Н. Ф., Зайцева А. Г., Зин-ченко Т. П., Иванов Ф. Е., Киселева Г. Н., Кравков С. В., Ломов Б. Ф., Полторак М. И., Стеклова Р. П. и др.

Анализ основных работ по данной тематике показал: а) важность и перспективность аудиальной модальности, особенно в контексте перегруженности визуального канала, миниатюризации интерфейсов; б) слабую разработанность систем, базирующихся на аудиальном представлении информации. Отдельным значимым аспектом является проблема социализации инвалидов по зрению в информационно-насыщенном визиоцентристском мире. Материалы исследований D. Worall,

A. Hunt, S. Barass, S. Brewster, P. Cook, T. Hermann, G. Kramer, J. G. Neuhoff,

B. N. Walker, C. Wickens, M. Watson, P. Vickers, P. Sanderson, M. Quinn, S. Peres, D. Palladino, M. Nees, J. Flowers, W. Gaver, J. Edworthy, E. Brazil, M. Blattner, D. Sumi-kawa, Евреинова Г. Е., Дворянкина С. В. в области неречевого представления данных, известной за рубежом под термином «сонификация», указывают на важность дальнейших исследований в области приложений сонификации. Рассмотренные методы характеризуются ориентацией на конкретные узкоспециальные приложения и лишены системного подхода, позволяющего обеспечить универсальность их внедрения.

Вопросам описания звуковых и тембральных пространств посвящены исследования J. Grey, S. McAdams, S. Lakatos, C. Krumhansl, I. Fujinaga, C. Reuter, H. Helmholtz, P. Schaeffer, D. Gibson, Динова В. Г., Давиденковой Е. А. Область компьютерного синтеза звука, затрагивающая вопросы сонификации, исследовалась M. Mathews, J. Chowning, J.-C. Risset, C. Roads, R. Bolanger, J. Ffitch, M. Puckette, V. Lazzarini, S. Yi, J. Heintz, O. Brandtsegg, A. Cabrera, T. Tsuchuia, R. Payami, A. Hofmann, I. McCardy и др.

Объект исследования: киберфизические системы и процессы полимодального представления и обработки информации.

Предмет исследования: формализация, моделирование и алгоритмизация процессов, компонентов и структур киберфизических систем на основе звукового неречевого представления данных (сонификации) и компьютерных методов обработки информации.

Цель и задачи исследования. Цель диссертационной работы состоит в систематизации и расширении пространства состояний систем неречевого звукового представления информации (сонификации) и разработке методов анализа, моделирования и проектирования информационных процессов в киберфизических системах.

Поставленная цель достигается решением следующих задач:

1. Разработать модель описания междоменного взаимодействия в полимодальных системах с соответствующим инструментарием символьного описания.

2. Разработать комплекс моделей КФС, позволяющий выявить обобщенные классы объектов киберфизического пространства (КФП) для их дальнейшего представления в системах сонификации как объектов соответствующих звуковых и тембральных пространств.

3. Разработать комплекс моделей звукового пространства, позволяющий установить методы отображения различных объектов КФП на звуковое пространство.

4. Разработать комплекс методов отображения объектов КФС на звуковое пространство, позволяющий формализовать и обобщить возможные связи между состоянием КФС и звуковыми объектами.

5. Разработать комплекс моделей многомерных тембральных пространств (МТП), позволяющий описать системы синтеза и обработки звука как устройства с заданными входными параметрами для задач проектирования звуковых объектов в системах сонификации.

6. Разработать метод отображения объектов КФС на МТП, позволяющий реализовать формирование тембрального тезауруса системы сонификации.

7. Разработать архитектуру системы сонификации, позволяющую установить основные элементы перспективных систем в задачах их практической реализации, и определить конвергентные области с другими перспективными направлениями инфокоммуникаций.

Научная новизна работы.

1. В результате расширения мультидоменной модели инфокоммуникаций, позволяющей описать связи между сущностями физического, информационного и когнитивного доменов, разработана модифицированная доменная модель. В отличие от доменной модели инфокоммуникаций, в предложенной модели детализирован аспект, учитывающий полимодальное представление информации в КФС с ЧМИ.

2. В результате детализации КФС впервые разработан многоуровневый комплекс моделей киберфизических объектов, позволяющий описать их структурно-функциональные характеристики и разработать генераторы данных для имитации жизненного цикла объектов КФС с целью использования их на дальнейших этапах моделирования.

3. Впервые предложен комплекс моделей звукового пространства, объединяющий различные группы дескрипторов звуковых объектов. Предложенный комплекс моделей позволяет сформировать критерии практического выбора соответствующих алгоритмов синтеза и обработка звука, а также параметры генеративных моделей для задач сонификации.

4. Впервые предложен комплекс методов, позволяющий установить функциональное соответствие между состоянием КФС и звуковыми объектами, включающий в себя метод контраста, метод выбора сценария сонификации и метод оценки рабочей области звукового пространства. Предложенный метод позволяет произвести разработку верхнего уровня сонификации КФС.

5. Разработан комплекс моделей МТП. В отличие от существующих моделей тембральных пространств, разработанных в основном для акустических музыкальных инструментов, предложенный комплекс моделей МТП рассчитан на компьютерные системы синтеза и обработки звука. Применение комплекса для систем со-нификации, синтезаторов, библиотек сэмплов позволяет повысить уровень автоматизации при их проектировании и работе с ними.

6. Впервые предложен метод, позволяющий установить связь между состоянием КФС и МТП, базирующийся на решении задач оптимального размещения звуковых объектов и тембральных траекторий в п-мерном ТП. Предложенный метод является концептуальной основой для проектирования и реализации систем сони-фикации.

7. Впервые предложена архитектура программно-аппаратного комплекса со-нификации КФС, рассматриваемая в контексте Интернета звука, как нового сегмента Всеобщего Интернета. Предложенное программно-аппаратное решение является действующим прототипом реальной системы сонификации КФС.

Теоретическая и практическая значимость работы. Теоретическая значимость работы состоит в формировании теоретических основ сонификации КФС и разработке соответствующего комплекса методов и моделей. Важным теоретическим результатом является разработка системы классификации звуковых пространств и вложенность в них МТП, определяющих, соответственно, общие и детальные характеристики звуковых объектов. Существенным теоретическим вкладом является доказательство возможности оптимального решения задачи проектирования тезауруса системы сонификации в МТП на основе решения задачи об упаковке шаров и Парето-оптимальности.

Практическая значимость работы заключается в создании научно-обоснованных рекомендаций по реализации методов сонификации КФС и возможности использования соответствующих полимодальных систем на их основе в различных отраслях народного хозяйства.

Реализация и внедрение результатов исследований. Результаты диссертационной работы использованы и внедрены (Приложение 2):

- в научно-исследовательских работах, выполняемых ФГБОУ ВО «Санкт-Петербургский государственный университет телекоммуникаций им. проф. М. А. Бонч-Бруевича» - 1 НИР;

- в научно-исследовательских работах, выполняемых ФГБУН «Институт проблем транспорта им. Н. С. Соломенко Российской академии наук» - 1 НИР;

- в научно-исследовательских работах, выполняемых ФГБОУ ВО «Санкт-Петербургский государственный институт кино и телевидения» - 2 НИРа;

- в программном обеспечении платформы видеоконференцсвязи и персонального модуля видеоприсутствия ООО «НТЦ ПРОТЕЙ»;

- в ФГБОУ ВО «Санкт-Петербургский государственный университет телекоммуникаций им. проф. М. А. Бонч-Бруевича» при выполнении научно-исследовательских и выпускных работ магистров по направлениям:

- 11.04.01 - «Инфокоммуникационные технологии и системы связи» профиль «Системы и сети радиосвязи, радиовещания и радиодоступа» при изучении дисциплины «Стандарты, системы и средства цифрового радиовещания»

- 11.04.01 - «Радиотехника», профиль «Аудиовидеосистемы и медиакомму-никации» при изучении дисциплины «Формирование, хранение, обработка и передача аудиоконтента в медиакоммуникациях».

Методология и методы исследования. Методология исследования основана на использовании междисциплинарного подхода, базирующегося на фундаментальных научных положениях таких отраслей, как системный анализ, инженерная психология, музыкальная акустика, математическое моделирование.

При решении поставленных задач применялись методы сонификации, психоакустики, спектрального анализа, компьютерного моделирования, методы теоретико-множественного анализа, методы многомерной начертательной геометрии, топологии и алгебры, методы Парето-оптимизации, методы теории графов и сети Петри.

Положения, выносимые на защиту:

1. Расширенная мультидоменная модель коммуникаций, учитывающая полимодальное представление данных, в том числе для систем сонификации.

2. Комплекс моделей киберфизических объектов в терминах мультидомен-ной модели коммуникаций для адаптации КФП к тезаурусу систем сонификации.

3. Комплекс моделей звукового пространства для решения задач сонификации КФС.

4. Комплекс методов отображения объектов КФП на звуковое пространство, позволяющий установить соответствие между КФП и его звуковым представлением в системах сонификации.

5. Комплекс моделей МТП, позволяющий дать описание звуковых объектов, используемых при сонификации КФС.

6. Метод отображения объектов КФП на МТП для детализации тезауруса системы сонификации.

7. Архитектура программно-аппаратного комплекса сонификации КФС как часть Интернета звука.

Достоверность полученных результатов и выводов подтверждается компьютерным моделированием, согласованностью с результатами научных трудов ведущих отечественных и мировых ученых в данной области, корректным применением математического аппарата, обсуждениями на научных конференциях, результатами субъективно-статистических экспертиз, публикациями результатов работы в рецензируемых научных журналах.

Апробация результатов работы. Материалы диссертационной работы были представлены и обсуждены на следующих конференциях и семинарах: 2-й Международный научный семинар «Язык, музыка и компьютерные технологии» (Санкт -Петербург, 2017); 2-й научный российско-индийский вебинар «Киберфизические системы, общество 5.0, искусственный интеллект» (2020); 2-я Международная научно-техническая конференция студентов, аспирантов и молодых ученых

INTHITEN 2016 (Санкт-Петербург, 2016); I, II, III, IV и V Международная конференция по языку программирования Csound - International Csound Conference (Ганновер (Германия), Бостон (США), Санкт-Петербург, Монтевидео (Уругвай), Кальи (Италия) 2011-2019); Международная научно-техническая конференция «Системы синхронизации, формирования и обработки сигналов» (Казань, 2017); Международная конференция Systems of signals generating and processing in the field of on board communications (Москва, 2018); IV, V, VI, VII, VIII, IX Международная научно-техническая и научно-методическая конференция «Актуальные проблемы инфотелекоммуникаций в науке и образовании» (Санкт-Петербург, 2014, 2015, 2016, 2017, 2018, 2019); Международная научно-практическая конференция «Транспорт России: Проблемы и перспективы» (Санкт-Петербург, 2016-2020).

Часть программно-аппаратного комплекса сонификации киберфизических систем прошла апробацию на выставке Связь-2017 (Москва, 2017).

Публикации. Общее количество опубликованных научных трудов - 80, из них по теме диссертации - 60, включая 17 статей, опубликованных в рецензируемых научных изданиях, включенных в перечень изданий, где должны быть опубликованы основные научные результаты диссертации на соискание ученой степени; 11 статей - в изданиях, индексируемых в международных базах данных.

Соответствие пунктам паспорта специальности. Диссертационное исследование выполнено по специальности 05.13.01 - Системный анализ, управление и обработка информации, и соответствует следующим пунктам паспорта специальности: «2. Формализация и постановка задач системного анализа, оптимизации, управления, принятия решений и обработки информации», «3. Разработка критериев и моделей описания и оценки эффективности решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации», «4. Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации», «5. Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации», «7. Методы

и алгоритмы структурно-параметрического синтеза и идентификации сложных систем», «8. Теоретико-множественный и теоретико-информационный анализ сложных систем», «12. Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации».

Личный вклад автора. Результаты диссертационной работы получены автором самостоятельно. Экспериментальные исследования разработаны и проведены под научным руководством автора.

ГЛАВА 1. ПРОБЛЕМЫ ПОЛИМОДАЛЬНОГО МОНИТОРИНГА КИБЕРФИЗИЧЕСКИХ СИСТЕМ

Киберфизические системы, наряду с кибербиологическими и киберсоциаль-ными системами, в последнее время становятся одним из ключевых элементов современных ИТС. Интернет вещей (англ. Internet of Things, сокр. IoT) [15], как революционная концепция последних нескольких лет, в контексте КФС является фундаментальным понятием. Однако, в отличие от Интернета вещей, выделяющего, в первую очередь, межмашинные соединения (англ. Machine to Machine, сокр. M2M), концепция КФС основана на дуализме физической и кибернетической (информационной) сред. Значительное место в этой концепции занимают модели физических объектов. Их описание и взаимодействие, совмещенное с другими пост -NGN элементами, такими как облачные технологии и всепроникающие сенсорные сети, составляет важную часть КФС.

Обращаясь к прикладной области, следует отметить тенденцию к информатизации практически всех элементов окружающего мира. Степень проникновения может быть различна - от сенсоров, передающих информацию о состоянии живого организма, до точных моделей, описывающих текущее состояние элемента внутри умного производства. В этой связи становится очевидным тот факт, что тотальная «цифровизация» - лишь вопрос времени. Особенно это актуально для технических областей, коэволюция которых с инфотелекоммуникационными технологиями происходила намного раньше по сравнению с другими областями [65].

Погружение физической, биологической и социальной сред в киберпростран-ство предоставляет огромные возможности, однако неизбежно сопряжено и с новыми проблемами, одной из которых является проблема мониторинга. Под мониторингом здесь и далее мы будем понимать наблюдение за какими-либо процессами и явлениями, проходящими в среде и обществе, результаты которого служат для обоснования управленческих решений [64].

За последние несколько лет человечество произвело объем данных, сопоставимый с уже накопленным за всю его историю. Возможность регистрировать в буквальном смысле всё что угодно приводит к огромным массивам данных. Это является фундаментальной проблемой для исследований в области Больших данных (англ. Big Data), еще одного ключевого элемента пост -NGN. Различные виды автоматизированной обработки данных и получения знаний, безусловно, упрощают работу с такими данными, однако самым «слабым» элементом этой цепи является человек. При общей тенденции к информатизации и использованию интеллектуальных и когнитивных систем, по-прежнему существует множество областей, в которых замена человека-оператора на машину не представляется возможной в обозримое время. Очевидно, это области, связанные с безопасностью критически важных правительственных и государственных инфраструктурных объектов, здравоохранение, транспортные системы и т. д. Возможность при минимальных затратах получения доступа к любым данным, отражающим состояние системы, умноженная на внушительную глубину проникновения сенсорного поля внутрь объектов мониторинга, дает экспоненциально возрастающие потоки данных. К этому феномену следует добавить тенденцию к так называемым всепроникающим интерфейсам, когда любое пользовательское устройство - смартфон, умные часы, очки дополненной реальности - превращается в интерфейсы информационных систем [143]. Естественная миниатюризация подобных устройств усложняет визуальное представление информации пользователю, а также требует большего времени для получения необходимой информации [229]. Здесь мы выходим на одно из ключевых понятий данной диссертации - полимодальность восприятия информации. Взаимодействуя с окружающим физическим миром, человек задействует в различной мере в зависимости от ситуации все свои сенсорные системы - зрительную, слуховую, тактильную, ольфакторную, вкусовую. Вследствие ограниченности технологий, изначально вычислительная техника отображала информацию для пользователя лишь визуально - текстовые, а затем и графические интерфейсы. Следующим этапом было добавление звуковых сигналов для оповещения о ключевых со-

бытиях тех или иных процессов. Несколько позднее стали использоваться тактильные интерфейсы. В последнее время имеют место экспериментальные разработки в области ольфакторных и вкусовых интерфейсов. Следует отметить, что степень задействования различных сенсорных систем человека при взаимодействии с интерфейсами коррелирует с его погружением в киберпространство и, тем самым, является своего рода показателем приближения человека к пост-человеку (posthuman) [214].

На сегодняшний день уже существует определенное количество ПМИ, то есть интерфейсов, использующих несколько модальностей восприятия, например, зрительную и слуховую. Наибольшее распространение ПМИ имеют в области компьютерных игровых технологий и различных форм компьютерного искусства [155, 156, 314]. Промышленная сфера в силу очевидных причин оказывается здесь более консервативной. Отсутствие системного подхода к проектированию ПМИ с учетом особенностей работы соответствующих сенсорных систем человека требует, в первую очередь, создания комплекса методов полимодального демультиплексирования данных и их представления в том или ином виде.

В Главе 1 мы даем характеристику КФС как основного объекта данного научного исследования, приводим необходимые сведения об особенностях сенсорных систем человека, главным образом, в контексте полимодального восприятия, и ставим задачу научного исследования.

Список литературы диссертационного исследования доктор наук Рогозинский Глеб Гендрихович, 2021 год

СПИСОК ЛИТЕРАТУРЫ

1. Алдошина, И. А. Музыкальная акустика: учебник для высших учебных заведений / И. А. Алдошина, Р. Приттс. - СПб.: Композитор, 2009. - 719 с.

2. Англо-русский медицинский словарь / под ред. И. Ю. Марковиной, Э. Г. Улумбекова. - М.: ГЭОТАР-Медиа, 2013. - 496 с.

3. Асаул, А. Н. Четвертая индустриальная революция (Industrie 4.0) в транспортной и сопутствующих отраслях / А. Н. Асаул, И. Г. Малыгин, В. И. Комашин-ский // Проблемы управления рисками в техносфере. - 2016. - № 2(38). - С. 70-78.

4. Басов, О. О. Модели и метод синтеза полимодальных инфокоммуникационных систем : дис. ... д-ра техн. наук : 05.13.01 / Басов Олег Олегович. - Орел, 2016. - 292 с.

5. Басов, О. О. Модели коммуникативного взаимодействия и их применение в инфотелекоммуникациях / О. О. Басов, М. В. Илюшин // Вестник Рязанского государственного радиотехнического университета. - 2011. - № 37. - С. 106108.

6. Бобнева, М. И. Техническая психология / М. И. Бобнева. - М.: Наука, 1966. -128 с.

7. Бутов, В. И. О возможности многоканальной переработки информации человеком / В. И. Бутов, М. И. Полторак // Вестн. Ленингр. ун-та. - 1974. - № 11.

8. Вахитов, Ш. Я. Акустика : Учебник для вузов / Ш. Я. Вахитов, Ю. А. Ковал-гин, А. А. Фадеев, Ю. П. Щевьев. - М.: Горячая линия - Телеком, 2009. - 660 с.

9. Венцель, Е. С. Исследование операций / Е. С. Венцель. - М.: Советское радио, 1972. - 550 с.

10. Винер, Н. Кибернетика, или управление и связь в животном и машине / Н. Винер. - 2-е изд. - М.: Наука, 1983. - 344 с. [в пер.]

11. Виноградов, А. Н. Особенности проектирования программного обеспечения современного комплекса мониторинга радиоэфира / А. Н. Виноградов, М. В. Терешонок // T-Comm - Телекоммуникации и Транспорт. - 2014. - т. 8. - № 9.

- С. 36-38.

12. Вудсон, У. Справочник по инженерной психологии для инженеров и художников-конструкторов / У. Вудсон, Д. Коновер. - М.: Мир, 1968. - 518 с.

13. Вэбстер, Р. Влияние внимания, направленного на выполнение зрительной или слуховой задачи, на периферическое зрение / Р. Вэбстер, Д. Хазлерунд // Инженерная психология за рубежом : сб. статей - М., 1967. - 494 с.

14. Глезер, В. Д. О пропускной способности зрения / В. Д. Глезер, И. И. Цуккер-ман, Т. М. Цыкунова // Техника кино и телевидения. - 1961. - № 3. - С. 27-32.

15. Гольдштейн, Б. С. Сети связи пост-NGN / Б. С. Гольдштейн, А. Е. Кучерявый.

- СПб.: БХВ-Петербург, 2014. - 160 с.

16. Гольдштейн, Б. С. Системы коммутации / Б. С. Гольдштейн. - СПб.: БХВ-Петербург, 2003. - 318 с.

17. ГОСТ Р ИСО 14915-1-2010 Эргономика мультимедийных пользовательских интерфейсов. Часть 1. Принципы проектирования и структура. - М.: Стандар-тинформ, 2016. - 19 с.

18. ГОСТ Р ИСО 15005-2012 Эргономика транспортных средств. Эргономические аспекты информационно-управляющей системы транспортного средства. Принципы управления диалогом и процедуры проверки соответствия. - М.: Стандартинформ, 2014. - 20 с.

19. ГОСТ Р ИСО 9241-20-2014 Эргономика взаимодействия человек-система. Часть 20. Руководство по доступности оборудования и услуг в области информационно-коммуникационных технологий. - М.: Стандартинформ, 2015. - 44 с.

20. ГОСТ Р ИСО 9355-2-2009 Эргономические требования к проектированию дисплеев и механизмов управления. Часть 2: Дисплеи. - М.: Стандартинформ, 2010. - 22 с.

21. Грибакин, Ф. Г. Биосенсоры органов чувств / Ф. Г. Грибакин // Наука и жизнь.

- 2001. - № 4. - С. 68-75.

22. Гришин, В. Г. Моно- и бимодальное представление акустических сигналов оператору [Текст] / В. Г. Гришин // Проблемы инженерной психологии: Материалы II Всесоюзной конференции. - М., Наука, 1968. - Вып. 2.

23. Гусев, А. Н. Телемедицина: проблемы, задачи, решения. / А. Н. Гусев, В. И. Комашинский, А. И. Осадчий // Актуальные проблемы инфокоммуникаций в науке и образовании: Материалы конференции: сборник научных статей. -СПб.: СПбГУТ, 2014. - С. 782-788.

24. Данилова, Н. Н. К вопросу о механизмах взаимодействия слухового и зрительного анализаторов / Н. Н. Данилова // Вопросы психологии. - 1960. - №2 5. - С. 65-78.

25. Дворянкин, С. В. К вопросу от технологии преобразования звук - изображение

- звук / С. В. Дворянкин, И. М. Нагорных // Спецтехника и связь. - 2013. - 1.

- С. 28-32.

26. Денисов, В. Г. Инженерная психология в авиации и космонавтике / В. Г. Денисов, В. Ф. Онищенко. - М.: Машиностроение, 1972. - 316 с.

27. Динов, В. Г. Звуковая картина: записки о звукорежиссуре : учебное пособие / В. Г. Динов. - СПб.: Лань, 2012. - 486 с.

28. Дьяконов, Н. Ф. Исследования взаимодействия зрительного и слухового анализаторов / Н. Ф. Дьяконов // Новые исследования в психологии. - 1975. - № 2.

29. Евреинов, Г. Е. Исследование и разработка графического интерфейса с использованием альтернативных средств ввода -вывода : дис. ... канд. тех. наук : 05.13.11 / Евреинов Григорий Евгеньевич. - Ростов-на-Дону, 1998. - 166 с.

30. Евреинов, Г. Е. Перспективы введения зрительной информации путем адекватной стимуляции слухового анализатора / Г. Е. Евреинов, С. А. Куркин //Акустический журнал. - 1996. - Т. 42, № 5. - С. 629-634.

31. Егорова, А. Н. Программный комплекс сонификации сложных сетей и систем / А. Н. Егорова, И. Н. Осипенко, Г. Г. Рогозинский // Интернет вещей и 5G. 2 -

я Междунар. науч.-техн. конф. студентов, аспирантов и молодых ученых (1ЖН1ТЕК 2016). - СПб., СПбГУТ, 2016. - С. 51-55.

32. Ефимов, В. В. Нечеткое отображение в процессе сонификации данных сенсорных сетей / В. В. Ефимов, Г. Г. Рогозинский, А. А. Мархотин, М. А. Чесноков // Труды ЦНИИС. Санкт-Петербургский филиал. - 2016. - т. 1, № 2. - С. 7784.

33. Жилина, Э. В. Профессиональные особенности аудиального образа клиента / Э. В. Жилина // Сибирский психологический журнал. - 2007. - № 26. - С. 130135.

34. Заборовский, В. С. Управление группировками киберфизических объектов в среде облачных вычислений / В. С. Заборовский, В. А. Мулюха, А. А. Лука-шин, А. С. Ильяшенко // Известия ЮФУ. Технические науки. - 2015. - № 10(171). - С. 45-60.

35. Зайцев, А. Г. Проектирование информационно-управляющих полей кабин авиационных комплексов : Учеб. пособие / А. Г. Зайцев, О. С. Титков. - М.: МАИ, 1983. - 54 с.

36. Зинченко, Т. П. Опознание и кодирование / Т. П. Зинченко. - Л.: Изд-во Ле-нингр. ун-та, 1981. - 183 с.

37. Иванов, Ф. Е. Эффективность деятельности оператора при бисенсорном представлении информации / Ф. Е. Иванов // Проблемы инженерной психологии : матер. V Всесоюз. конф. - М., Наука, 1979. - Вып. 2.

38. Иванова, А. Ф. Анализ звуковых ландшафтов с помощью вейвлетного преобразования / А. Ф. Иванова, Г. Г. Рогозинский // Актуальные проблемы инфо-телекоммуникаций в науке и образовании. - СПб., 2015. - С. 109-113.

39. Илюшин, М. В. Обоснование объективного критерия качества звучания синтезированного широкополосного речевого сигнала / М. В. Илюшин, О. О. Басов, А. В. Радаев, А. В. Степанов // Вестник Рязанского государственного радиотехнического университета. - 2010. - № 34. - С. 25-31.

40. Карпов, А. А. Аудиовизуальные речевые интерфейсы в ассистивных информационных технологиях: дис. ... д-ра техн. наук : 05.13.11 / Карпов Алексей Анатольевич. - Санкт-Петербург, 2013. - 299 с.

41. Катасонова, Г. Р. Система формирования содержания обучения бакалавров управленческих специальностей / Г. Р. Катасонова // Инновационные информационные технологии. - 2013. - т. 1. - № 2. - С. 179-185.

42. Киричек, Р. В. Разработка и исследование комплекса моделей и методов для летающих сенсорных сетей : дис. ... д-ра техн. наук : 05.12.13 / Киричек Руслан Валентинович. - Санкт-Петербург, 2017. - 297 с.

43. Киселева, Г. Н. Охрана труда [Текст] : Восприятие сигнализации и аудирование речи в трудовой деятельности человека : К разделу «Психол. основы трудовой деятельности человека. Обеспечение оптим. условий работы анализаторов (зрит., слухового)» : Лекция / Всесоюз. заоч. политехн. ин-т. Кафедра охраны труда. - Москва : [б. и.], 1972. - 27 с.

44. Ковалгин, Ю. А. Психоакустика и компрессия цифровых аудиоданных / Ю. А. Ковалгин. - СПб.: СПбГУТ, 2012. - 300 с.

45. Ковалгин, Ю. А. Стереофония / Ю. А. Ковалгин. - М.: Радио и связь. - 1989. -272 с.

46. Ковальчук, М. В. Конвергенция наук и технологий - прорыв в будущее / М. В. Ковальчук // Российские нанотехнологии. - 2011. - 6. - 1, 2. - С 13-23.

47. Комашинский, В. И. Когнитивные кибер-физические системы транспортной безопасности / В. И. Комашинский, Д. В. Комашинский, О. А. Михалев, В. В. Юдаев // Транспорт России: проблемы и перспективы 2016 : материалы международной научно-практической конференции. - СПб.: ИПТ РАН, 2016. - С. 148-152.

48. Кравков, С. В. Взаимодействие органов чувств / С. В. Кравков. - М.: Акад. наук СССР, 1948. - 128 с.

49. Кудж, С. А. Сетецентрическое управление и киберфизические системы / С. А. Кудж, В. Я. Цветков // Образовательные ресурсы и технологии. - 2017. - № 2(19). - С. 86-92.

50. Кузнецова, А. В. Проблемы информации и энтропии в медиатексте : автореф. дис. ... канд. филол. наук: 10.01.10 / Кузнецова Александра Владимировна. -Ростов-на-Дону, 2012. - 25 с.

51. Кучерявый, А. А. Бортовые информационные системы : курс лекций / А. А. Кучерявый; под ред. В. А. Мишина и Г. И. Клюева. - Ульяновск, УлГТУ, 2004. - 504 с.

52. Кучерявый, А. Е. Самоорганизующиеся сети и новые услуги / А. Е. Кучерявый // Электросвязь .- 2009 .- № 1.- С. 19-23.

53. Лебедев, О. В. Основные методы сонификации и их особенности / О. В. Лебедев // Синергия наук [Электронный журнал]. - 2018. - № 24.

54. Левоневский, Д. К. Корпоративная информационная система обслуживания пользователей как компонент киберфизического интеллектуального пространства / Д. К. Левоневский, И. В. Ватаманюк, А. И. Савельев, А. В. Денисов // Приборостроение. - 2016. - № 11. - С. 906-912.

55. Ложкина, О. В. Совершенствование информационного процесса мониторинга экологических угроз, связанных с экстремально высокими выбросами автотранспорта (для внедрения в аппаратно-программный комплекс Безопасный город) / О. В. Ложкина, В. Н. Ложкин, М. Е. Шкитронов, Г. Г. Рогозинский // Транспорт России: Проблемы и перспективы 2016. - СПб., 2016. - С. 115-118.

56. Ложкина, О. В. Комплексный подход к совершенствованию методов контроля и прогнозирования негативного воздействия автомобильного и водного транспорта на городскую среду / О. В. Ложкина, Г. Г. Рогозинский, В. Н. Ложкин // Транспорт России: Проблемы и перспективы 2017. - СПб., 2017. - С. 304-309.

57. Ломов, А. Реальность, данная в ощущениях [Электронный ресурс] / А. Ломов // Интернет-портал Международного союза интернет-деятелей. - Режим доступа: http://ezhe.ru/ib/issue283 .html

58. Ломов, Б. Ф. Человек и техника: Очерки инженерной психологии / Б. Ф. Ломов. - М.: Книга по Требованию, 2012. - 464 с.

59. Лопотко, А. И. Пропускная способность слухового анализатора [Электронный ресурс] / А. И. Лопотко, М. С. Плужников, М. А. Атамурадов // Медицинский

сайт MedBe.ru. - Режим доступа: http://medbe.ru/materials/audiologiya/pro-pusknaya-sposobnost-slukhovogo-anaHzatora/

60. Малыгин, И. Г. Системный подход к построению когнитивных транспортных систем и сетей / И. Г. Малыгин, В. И. Комашинский, П. Н. Афонин // Научно-аналитический журнал Вестник Санкт-Петербургского университета Государственной противопожарной службы МЧС России. - 2015. - № 4. - С. 68-73.

61. Мархотин, А. А. Система сонификации в задаче нахождения пути и обхода препятствий / А. А. Мархотин, А. В. Кривошейкин, И. Н. Осипенко, Г. Г. Ро-гозинский // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. - 2017. - Т. 10. - № 4. - С. 89-96.

62. Мархотин, А. А. Нечеткое отображение в системе сонификации данных беспроводной сенсорной сети / А. А. Мархотин, А. В. Кривошейкин, Г. Г. Рого-зинский, Р. Уолш // Научно-технический вестник информационных технологий, механики и оптики. - 2016. - т. 16. - № 6. - С 1073-1077.

63. Мархотин, А. А. Методы нечеткой логики в компьютерной музыке и алгоритмической композиции / А. А. Мархотин, Г. Г. Рогозинский // Актуальные проблемы инфотелекоммуникаций в науке и образовании. - СПб., 2015. - С. 362366.

64. Мониторинг // Гражданская защита: Энциклопедия в 4-х томах. Т. II (К - О) -М.: ФГБУ ВНИИ ГОЧС (ФЦ), 2015. - 706 а

65. Осадчий, А. Коэволюция информационно-телекоммуникационных технологий и общества / А. Осадчий, В. Комашинский, Г. Рогозинский // Технологии и средства связи. - 2012. - № 3 (90). - С. 34-37.

66. Парамонов, А. И. Разработка и исследование комплекса моделей трафика для сетей связи общего пользования : дис. ... д-ра тех. наук : 05.12.13 / Парамонов Александр Иванович. - Санкт-Петербург, 2014. - 325 с.

67. Пат. 2154596 Российская Федерация, МПК G08 G05/02, B64 D45/04. Способ звуковой индикации параметров предпосадочного снижения гидросамолета или самолета для обеспечения посадки в условиях плохой видимости / Калюж-

ный Г. Г., Сидоров А. Н., Бондарец А. Я., Дубенский В. П., Сердюк В. Р., Ульянов В. Н. : заявитель и патентообладатель ОАО «Таганрогский авиационный научно-технический комплекс им. Г. М. Бериева». - № 98112840/28 ; заявл. 30.06.98 ; опубл. 20.08.00.

68. Пат. 2355312 Российская Федерация, МПК А 61 В 7/04, Н 04 Я 1/00. Электронно-акустический интерфейс для стетоскопа / Кузнецов В. И. : заявитель и патентообладатель Кузнецов В. И. - № заявл. 24.10.07 ; опубл. 20.05.09.

69. Пат. 2715978 Российская Федерация, МПК 006Б 21/55, в08В 31/00. Способ и система сонификации событий кибербезопасности / Кузьмин А. М. : заявитель; патентообладатель: ПАО Сбербанк. - № заявл. 05.09.19 ; опубл. 05.03.20

70. Петухов, С. В. Метод сонификации для решения механо-биологических задач / С. В. Петухов, А. А. Хуссейн, И. В. Степанян // Нейронаука для медицины и психологии: XV Междунар. Междисц. конгресс. - Судак, 2019. - С. 391.

71. Подольский, Д. А. Дополненная реальность на основе сонификации веб-пар-синга / Д. А. Подольский, Г. Г. Рогозинский // Интернет вещей и 5G. 2 -я Междунар. науч.-техн. конф. студентов, аспирантов и молодых ученых (ЩТШТЕК 2016). - СПб., СПбГУТ, 2016. - С. 65-69.

72. Подольский, Д. А. Сонификация результатов информационного анализа сайтов / Д. А. Подольский, Г. Г. Рогозинский // Актуальные проблемы инфотеле-коммуникаций в науке и образовании. - СПб., 2016. - С. 512-516.

73. Подольский, Д. А. Аудиальный интерфейс на основе сонификации результатов информационного анализа сайтов / Д. А. Подольский, Г. Г. Рогозинский // Актуальные проблемы инфотелекоммуникаций в науке и образовании. - СПб., 2017. - С. 245-250.

74. Психология труда, инженерная психология и эргономика - 2014: Междунар. науч.-практич. конф. - СПб.: Межрегион. эргономич. ассоц., 2014.

75. Райгородский, А. М. Модели случайных графов и их применения / А. М. Рай-городский // Труды МФТИ. - 2010. - Т. 2. - № 4. - С. 130-140.

76. Решения для автоматизированных контейнерных терминалов компании 7РМС [Электронный ресурс] // Компания 7РМС [сайт]. - Режим доступа:

http://www.zpmc-rassia.com/up-

load/iblock/920/9207039edc883412a2c024e1e80e547e.pdf

77. Римский-Корсаков, Н. А. Основы оркестровки / А. Н. Римский -Корсаков; под ред. М. Штейнберга. - М.: Госмузгиз, 1946. - 2 т.

78. Рихтер, С. Г. Цифровое радиовещание / С. Г. Рихтер. - М.: Горячая линия -Телеком, 2004. - 352 с.

79. Рогозинский, Г. Г. Перцепционное сжатие звука с использованием вейвлетных пакетов : дис. ... канд. техн. наук : 05.11.18 / Рогозинский Глеб Гендрихович. - СПб., 2010. - 118 с.

80. Рогозинский, Г. Г. Применение метода оптимизации вейвлетов в перцепционном кодировании звуковых сигналов / Г. Г. Рогозинский // Радиотехника. -2010. - № 5. - С. 94-97.

81. Рогозинский, Г. Г. Обучаемый генетический алгоритм в задаче автоматизированной сетевой музыкальной композиции / Г. Г. Рогозинский, А. В. Щекочи-хин // Интернет вещей и 5G. 2-я Междунар. науч.-техн. конф. студентов, аспирантов и молодых ученых (ШТШТБК 2016). - СПб, СПбГУТ, 2016. - С. 7175.

82. Рогозинский, Г. Г. Особенности представления и обработки данных в сети дополненной акустической реальности / Г. Г. Рогозинский, М. А. Чесноков, А. В. Щекочихин, Е. В. Черный, И. Н. Смирнов // Системы управления и информационные технологии. - 2015. - № 3 (61) - С. 89-93.

83. Рогозинский, Г. Г. Модель распределенной системы генерации аудиоконтента на основе эволюционных алгоритмов / Г. Г. Рогозинский, А. В. Щекочихин // Информационные технологии и телекоммуникации. - 2014. - № 2. - С. 20-26.

84. Рогозинский, Г. Г. Распределенная генерация компьютерной музыки в Интернете вещей / Г. Г. Рогозинский, Е. В. Черный, Р. Уолш, А. В. Щекочихин // Научно-технический вестник информационных технологий, механики и оптики. - 2015. - т. 15. - № 4. - С. 654-660.

85. Рогозинский, Г. Г. К вопросу сонификации Интернета вещей / Г. Г. Рогозинский // Труды ЦНИИС. Санкт-Петербургский филиал. - 2015. - т. 1, № 1. - С. 205-212.

86. Рогозинский, Г. Г. Модель сетевой системы интеллектуальной генерации компьютерной музыки / А. В. Щекочихин, Г. Г. Рогозинский // Актуальные проблемы инфотелекоммуникаций в науке и образовании. - СПб., 2015. - С. 385390.

87. Рогозинский, Г. Г. Особенности использования и корректность работы генетического алгоритма для распределенной генерации компьютерной музыки / Г. Г. Рогозинский, А. В. Щекочихин // Системы управления и информационные технологии. - 2015. - т. 59. - № 1. - С. 80-84.

88. Рогозинский, Г. Г. Сеть дополненной акустической реальности как средство представления и обработки данных / Г. Г. Рогозинский, М. А. Чесноков, А. В. Щекочихин, Е. В. Черный, И. Н. Смирнов // Информационные технологии моделирования и управления. - 2016. - т. 99, № 3. - С. 207-213.

89. Рогозинский, Г. Г. Программный комплекс сонификации сложных сетей / Г. Г. Рогозинский, А. Н. Егорова, Е. Г. Ершов, И. Н. Осипенко // Современная наука: актуальные проблемы теории и практики. Серия: Естественные и технические науки. 2016. - № 8. - С. 52-55.

90. Рогозинский, Г. Г. Программный комплекс сонификации динамических графов / Г. Г. Рогозинский, К. В. Лыжинкин, А. Н. Егорова, И. Н. Осипенко // Труды ЦНИИС. Санкт-Петербургский филиал. - 2016. - т. 2(2). - с. 26-32.

91. Рогозинский, Г. Г. Применение методов сонификации потоков данных и сенсорных сетей в системе распределенной генерации звуковых образов / Г. Г. Рогозинский, А. В. Щекочихин // Актуальные проблемы инфотелекоммуника-ций в науке и образовании. - СПб., 2016. - С. 520-524.

92. Рогозинский, Г. Г. Дополненная реальность на основе сонификации веб-пар-синга / Д. А. Подольский, Г. Г. Рогозинский // Интернет вещей и 5G. 2 -я Междунар. науч.-техн. конф. студентов, аспирантов и молодых ученых (INTHITEN 2016). - СПб., СПбГУТ, 2016. - С. 65-69.

93. Рогозинский, Г. Г. Обучаемый генетический алгоритм в задаче автоматизированной сетевой музыкальной композиции / Г. Г. Рогозинский, А. В. Щекочихин // Интернет вещей и 5G. 2-я Междунар. науч.-техн. конф. студентов, аспирантов и молодых ученых (INTHITEN 2016). - СПб., СПбГУТ, 2016. - С. 7175.

94. Рогозинский, Г. Г. Киберфизические объекты и их модели для мультисенсор-ного представления данных / Г. Г. Рогозинский // Т-сотт: Телекоммуникации и транспорт. - 2017. - т. 11, № 11. - С. 68-73.

95. Рогозинский, Г. Г. Принципы построения акустических интерфейсов мультимедийных информационных систем / Г. Г. Рогозинский, А. Д. Сотников // Актуальные проблемы инфотелекоммуникаций в науке и образовании. - СПб., 2017. - С. 367-372.

96. Рогозинский, Г. Г. Модифицированная доменная модель мультисенсорного мониторинга киберфизических систем / Г. Г. Рогозинский, В. И. Комашинский // Морские интеллектуальные технологии. - 2017. - т. 3, № 4. - С. 177-182.

97. Рогозинский, Г. Г. О решении задачи оптимального размещения звуковых объектов в ^мерных тембральных пространствах / Г. Г. Рогозинский // Т -comm: Телекоммуникации и транспорт. - 2018. - т. 12, № 5. - С. 54-58.

98. Рогозинский, Г. Г. Элементы архитектуры систем сонификации как части Интернета звука / Г. Г. Рогозинский // Наукоемкие технологии в космических исследованиях Земли. - 2018. - т. 10, № 4.

99. Рогозинский, Г. Г. Тембральные пространства в задачах сонификации ки-берфизических систем / Г. Г. Рогозинский, А. Д. Сотников // Проблемы управления рисками в техносфере. - 2018. - № 2(46).

100. Рогозинский, Г. Г. Постановка и решение задачи оптимизации проектирования траекторий в тембральном пространстве / Г. Г. Рогозинский, А. А. Таранцев // Труды учебных заведений связи. - 2020. - т. 6, № 1. - С. 14-20.

101. Рогозинский, Г. Г. Метод моделирования синтезаторов звуковых сигналов / Н. В. Горячев, Г. Г. Рогозинский // Труды учебных заведений связи. - 2019. - т. 5, № 1. - С. 25-30.

102. Рогозинский, Г. Г. Применение Csound для моделирования FM-синтезатора Yamaha TX-81Z / Н. В. Горячев, Г. Г. Рогозинский // Актуальные проблемы инфотелекоммуникаций в науке и образовании (АПИНО 2019). - СПб., 2019. - С. 116-120.

103. Рогозинский, Г. Г. Сравнительный анализ языков компьютерной музыки как программных сред сонификации / Ю. И. Иванова, Г. Г. Рогозинский // Актуальные проблемы инфотелекоммуникаций в науке и образовании (АПИНО 2019). - СПб., 2019. - С. 163-167.

104. Рогозинский, Г. Г. Интеллектуальные технологии для поддержки принятия управленческих решений в сфере экологической безопасности транспорта в больших городах-портах / О. В. Ложкина, Г. Г. Рогозинский, В. Н. Ложкин, И. Г. Малыгин, В. И. Комашинский // Морские интеллектуальные технологии. -2020. - т. 1, № 2 (48). - С. 125-133.

105. Рогозинский, Г. Г. Применение киберфизических систем для обучения технике безопасности персонала в среде виртуальной реальности на основе синтеза ракурсов в задаче построения морского бортового тренажера / Д. А. Тата-ренков, Г. Г. Рогозинский, И. Г. Малыгин, А. В. Богданов // Морские интеллектуальные технологии. - 2020. - т. 1, № 4 (50). - С. 209-213.

106. Ронжин, А. Л. Концептуальная и формальная модели синтеза киберфизиче-ских систем и интеллектуальных пространств / А. Л. Ронжин, О. О. Басов, Б. В. Соколов, Р. М. Юсупов // Изв. вузов. Приборостроение. - 2016. - Т. 59, № 11. - С. 897-905.

107. Ронжин, А. Л. Формирование профиля пользователя на основе аудиовизуального анализа ситуации в интеллектуальном зале совещаний / А. Л. Ронжин, В. Ю. Будков, Ан. Л. Ронжин // Труды СПИИРАН. - 2012. - Вып. 23. - C. 482494.

108. Ручкин, В. Н. Трехуровневый экспресс-мониторинг чрезвычайных ситуаций на базе интеллектуальных КФС / В. Н. Ручкин, Б. В. Костров, А. Н. Колесенков // Известия ТулГУ. Технические науки. - 2017. - № 2. - С. 164-172.

109. Сапожков, М. А. Звукофикация открытых пространств / М. А. Сапожков. - М.: Радио и связь, 1985. - 304 с.

110. Смирнова, Е. А. Сонификация как способ представления данных / Е. А. Смирнова, Е. В. Черный // Альманах научных работ молодых ученых ХЬУ научной и учебно-методической конференции Университета ИТМО. - СПб.: ИТМО, 2016. - т. 5. - С. 9-10.

111. Солодков, А. С. Физиология человека. Общая. Спортивная. Возрастная / А. С. Солодков, Е. Б. Сологуб. - 7-е изд. - М.: Спорт, 2015. - 840 с.

112. Сотников, А. Д. Инфокоммуникационные системы и их модели для здравоохранения / А. Д. Сотников // Информационно-управляющие системы. - 2008.

- № 3. - С. 46-53.

113. Сотников, А. Д. Сервис-ориентированная модель описания информационно-функциональных взаимодействий предприятия / А. Д. Сотников, М. Ю. Арзу-манян // Проблемы современной экономики. - 2009. - № 2. - С. 125-129.

114. Сотников, А. Д. Структурно-функциональная организация услуг телемедицины в прикладных инфокоммуникационных системах : дис. ... д -ра тех. наук : 05.13.13 / Сотников Александр Дмитриевич. - СПб., 2007. - 380 с.

115. Сотников, А. Д. Инфокоммуникационные системы и их модели для здравоохранения / А. Д. Сотников // Информационно-управляющие системы. - 2008.

- № 3. - С. 27-29.

116. Статистическая информация Министерства Здравоохранения Российской Федерации [Электронный ресурс] // Министерство Здравоохранения Российской Федерации [сайт]. - Режим доступа: https://www.rosminzdrav.ru/documents/6686-statisticheskaya-informatsiya

117. Стеклова, Р. П. О рефлекторных механизмах взаимодействия зрительного и слухового анализаторов : автореф. дис. ... канд. психол. наук / Р. П. Стеклова.

- М., 1959. - 13 с.

118. Таранцев, А. А. Методы многопараметрической оптимизации в задачах выбора решений. Учебно-методическое пособие / А. А. Таранцев, К. Ю. Шилин.

- СПб.: СПбУ ГПС МЧС России, 2019. - 31 с.

119. Тоффлер, Э. Шок будущего / Э. Тоффлер; И. Москвина-Тарханова [перевод].

- М.: АСТ, 2008. - 560 с.

120. Уилсон, Р. Моя жизнь после смерти / Р. Уилсон. М.: Янус, Экслибрис. - 2002.

- 256 с. [в пер.]

121. Ульянова, Ю. Е. Частотно-временные преобразования, используемые в цифровой обработке сигналов / Ю. Е. Ульянова, Р. Г. Бабенко, А. В. Чернов // Глобальная ядерная безопасность. - 2015. - № 3(16). - C. 36-42.

122. Хаханов, В. И. Киберфизические системы как технологии киберуправления / В. И. Хаханов, В. И. Обризан, А. С. Мищенко, И. В. Филиппенко // Радиоэлектроника и информатика. - 2014. - № 1. - С. 39-45.

123. Цветков, В. Я. Управление с применением кибер -физических систем / В. Я. Цветков // Перспективы науки и образования. - 2017. - № 3. - С. 55-60.

124. Черняк, Л. Киберфизические системы на старте [Электронный ресурс] / Л. Черняк // Открытые системы. СУБД. - 2014. - № 2. Режим доступа: https://www.osp.ru/os/2014/02/13040038/

125. Щевьев, Ю. П. Физические основы архитектурно-строительной акустики : [Учеб. пособие] / Ю. П. Щевьев. - СПб.: СПГУКиТ, 2001. - 407 с.

126. Явленский, А. К. Акустический мониторинг в системе контроля и диагностики источников шумовых аномалий / А. К. Явленский, А. А. Белоусов, Г. Г. Рого-зинский, А. С. Волков // Защита населения от повышенного шумового воздействия. Сборник докладов II Всероссийской научно-практической конференции. - СПб., 2014. - С. 239-244.

127. Addison, P. S. The Illustrated Wavelet Transform Handbook / P. S. Addison. - IOP Publishing : London, 2002. - 400 p.

128. Aijaz, A. Realizing the tactile internet: Haptic communications over next generation 5G cellular networks / A. Aijaz, M. Dohler, A. H. Aghvami, V. Friderikos, M. Frodigh // IEEE Wireless Commun., 2017. - № 24(2). - P. 82-89.

129. Akkermans, V. Freesound 2 : an Improved Platform for Sharing Audio Clips / V. Akkermans, F. Font, J. Funollet, B. de Jong, G. Roma, S. Togias, X. Serra // International Society for Music Information Retrieval Conference (ISMIR'11). - Miami, 2011.

130. Albersheim, G. Zur Psychologie der Toneigenschaften / G. Albersheim. - Strass-burg. - 1939.

131. Alves, V. N. N. Sound Design Guidance as a Contribution towards the empowerment of indie game developers : PhD Thesis / V. N. N. Alves. Universidade de Coimbra, 2012. - p. 305.

132. Anderson, C. Makers: The New Industrial Revolution / C. Anderson. - NY.: Crown Business, 2012. - 272 p.

133. ANSI S1.1-1994 (ASA 111-1994). Acoustical Terminology. - NY.: Acoustical Society of America. - 1994. - 47 p.

134. Averbach, E. Short-term storage of information in vision / E. Averbach, G. Sperling // Information Theory; ed. Cherry C. - London, 1961. - P. 196-211.

135. Barrass, S. A Perceptual Framework for the Auditory Display of Scientific Data / S. Barrass // ACM Transactions on Applied Perception. - 1994. - № 2(4). - P. 389402.

136. Batchelor, P. BeaglePi: An Introductory Guide to Csound on the BeagleBone and the Raspberry Pi, as well other Linux-powered tinyware / P. Batchelor. - Csound Journal. - 2013. - Vol. 18.

137. Batty, C. Smelling Lessons / C. Batty // Philosophical Studies. - 2011. - № 153. -P. 161-174.

138. Bell, A. G. Discovery and Invention / A. G. Bell // National Geographic Magazine. - 1914. - Vol. 25. - P. 649-655.

139. Bernstein, I. H., Edelstein B. A. Effects of some variations in Auditory input upon visual choice reaction time / I. H. Bernstein, B. A. Edelstein // Journ. of Exper. Psychol. - 1971. - Vol. 87. - № 2. - P. 241-247.

140. Bhabad, S. S. Pitch detection in time, frequency and cepstral domain for articulatory handicapped people / S. S. Bhabad, G. K. Kharate, S. C. Stunde // 2013 IEEE International Conference in MOOC, Innovation and Technology in Education (MITE). -Jaipur, 2013. - P. 80-84.

141. Blattner, M. M. Earcons and Icons: Their Structure and Common Design Principles / M. M. Blattner, D. A. Sumikawa, R. M. Greenberg // ACM SIGCHI Bulletin. -1989. - № 21(1). - P. 123-124.

142. Blattner, M. M. Earcons and Icons: Their Structure and Common Design Principles / M. M. Blattner, D. A. Sumikawa, R. M. Greenberg // Human-Computer Interaction. - 1989. - Vol. 4. - P. 11-44.

143. Blumendorf, M. Ubiquitous User Interfaces: Multimodal Adaptive Interaction for Smart Environments / M. Blumendorf, G. Lehmann, D. Roscher, S. Albayrak // Mul-timodality in Mobile Computing and Mobile Devices: Methods for Adaptive Usability / S. Kurkovsky. - Hershey, 2010. - Ch. 2. - P. 24-52.

144. Bordanov, D. Essentia: an Audio Analysis Library for Music Information Retrieval / D. Bogdanov, N. Wack, E. Gomez, S. Gulati, P. Herrera, O. Mayor, G. Roma, J. Salamon, J. R. Zapata, X. Serra // International Society for Music Information Retrieval Conference (ISMIR'13). - Curitiba, 2013. - P. 493-498.

145. Bourne, R. R. A. Magnitude, temporal trends, and projections of the global prevalence of blindness and distance and near vision impairment: a systematic review and meta-analysis / R. R. A. Bourne, S. R. Flaxman, T. Braithwaite, M. V. Cicinelli, A. Das, J. B. Jonas, et al. // The Lancet. Global Health. - 2017. - № 5(9). - P. 888-897.

146. Boyd, E. History of auditing / E. Boyd // R. Brown (ed.) A History of Accounting and Accountants. - NY: Routledge, 2013. - 524 p.

147. Bregman, A. S. Auditory scene analysis: The perceptual organization of sound / A. S. Bregman. - Cambridge, MA: MIT Press. - 1990. - 790 p.

148. Brewster, S. A. The design and evaluation of a sonically enhanced tool palette / S. A. Brewster, C. V. Clarke // Proceedings of ICAD 97. - Atlanta, 1997. - P. 455461.

149. Brewster, S. A. Maximising screen-space on mobile computing devices / S. A. Brewster, P. G. Cryer // CHI '99 Extended Abstracts on Human Factors in Computing Systems. - 1999. - P. 224-225.

150. Brewster, S. A. Experimentally Derived Guidelines for the Creation of Earcons / S. A. Brewster, P. C. Wright, A. Edwards // Adjunct Proceedings of HCI'95. - 1995. -P. 155-159.

151. Brinkmann P. Embedding Pure Data with libpd / P. Brinkmann // Making Musical Apps / P. Brinkmann. - Sebastopol, 2012. - Ch. 4. - P. 43-58.

152. Bubley, D. Data over Sound Technology: Device-to-device communications and pairing without wireless radio networks [Электронный ресурс]/ D. Bubley. - Disruptive Analysis, 2017. - 29 p. - Режим доступа https://chirp.io/docs/data-over-sound-whitepaper.pdf

153. Burr, D. Auditory dominance over vision in the perception of interval duration / D. Burr, M. S. Banks, M. C. Morrone // Experimental Brain Research. - 2009. - Vol. 198. - P. 49-57.

154. Bushdid, C. Humans Can Discriminate More than 1 Trillion Olfactory Stimuli / C. Bushdid, M. O. Magnasco, L. B. Vosshall, A. Keller // Science. - 2014. - Vol. 343. - Issue 6177. - P. 1370-1372.

155. Camurri, A. Multimodal analysis of expressive gesture in music and dance performances / A. Camurri, B. Mazzarino, M. Ricchetti, R. Timmers, G. Volpe // Gesture Based Communication in Human-Computer Interaction / A. Camurri, G. Volpe. -NY, 2004. - P. 20-39.

156. Camurri, A. The Intersection of Art and Technology / A. Camurri, G. Volpe / IEEE MultiMedia. - 2016. - vol. 23, №1. - P. 10-17.

157. Cheng, X. Time-frequency Analysis of Musical Rhythm / X. Cheng, J. V. Hart, J. S. Walker // Notices of the AMS. - 2009. - vol. 56, № 3. - P. 356-372.

158. Cherny, E. An approach for structuring sound sample libraries using ontology / E. Cherny, J. Lilius, J. Brusila, D. Mouromtsev, G. Rogozinsky // Communications in Computer and Information Science. - 2016. - Vol. 649. - P. 202-214.

159. Cherny, E. The Internet of Machines -Technological Synergy and Computer Music / E. Cherny, G. Rogozinsky // 16th Conference of Open Innovations Association Proc. 2014 (FRUCT'16). - Oulu, 2016.

160. Chowning, J. M. The Synthesis of Complex Audio Spectra by Means of Frequency Modulation / J. M. Chowning // J. Audio Eng. Soc. - 1973. - 21. - 7. - P. 526-534.

161. Chung, B. W. Multimedia Programming with Pure Data / B. W. Chung. - Birmingham : Packt, 2013. - 350 p.

162. Cohn, H. The sphere packing problem in dimension 24 / H. Cohn, A. Kumar, S. D. Miller, D. Radchenko, M. Viazovska // Annals of Mathematics. - 2017. - 185(3). -P. 1017-1033.

163. Coming to Grips with IT in 2016 [ Электронный ресурс] // Sogeti Labs [сайт]. -Режим доступа: http://labs.sogeti.com/coming-to-grips-with-it-in-2016-so-stay-tuned/

164. Cook, P. R. Real Sound Synthesis for Interactive Applications / P. R. Cook. - Natick : A K Peters, 2002. - 263 p.

165. Cosi, P., de Poli , G., and Lauzzana, G. Auditory modeling and self-organizing neural networks for timbre classification / P. Cosi, G. de Poli, G. Lauzzana // Journal of New Music Research. - 1994. - 23. - P. 71-98.

166. Cybenko, G. Approximation by Superpositions of a Sigmoidal function / G. Cybenko // Mathematics of Control Signals and Systems. - 1989. - Vol. 2. - 4. - P. 303-314.

167. Dao, N. Analysis of Routes in the Network based on a Swarm of UAVS / N. Dao, A. Koucheryavy, A. Paramonov // Lecture Notes in Electrical Engineering. - 2016. - V. 376 - P. 1261-1271.

168. Darwish, A. Wearable and Implantable Wireless Sensor Network Solutions for Healthcare Monitoring / A. Darwish, A. E. Hassanien // Sensors. - 2011. - 11(6). -P. 5561-5595.

169. de Boer-Schellekens, L. Sound improves diminished visual temporal sensitivity in schizophrenia / L. de Boer-Schellekens, J. J. Stekelenburg, J. P. Maes, A. R. Van Gool, J. Vroomen // Acta Psychol. - 2014. - 147. - P. 136-142.

170. de Campo, A. Toward a data sonification design map / A. de Campo // Proceedings of the 13th International Conference on Auditory Display. - Montréal, Canada, June 26-29, 2007. - P. 342-347.

171. Dey, N. Medical cyber-physical systems: A survey / N. Dey, A. S. Ashour, F. Shi, S. J. Fong, J. M. R. S. Tavares //J Med Syst. - 2018. - 42(4):74.

172. Döfler, M. Gabor Analysis for a Class of Signals called Music : PhD Dissertation / M. Döfler. Universität Wien, 2002. - 147 p.

173. Dogaru, D. I. Cyber-physical systems in healthcare networks / D. I. Dogaru, I. Du-mitrache // 2015 E-Health and Bioengineering Conference (EHB). - Iasi, 2015. - P. 1-4.

174. Doornbusch, P. (2010). Gerhard Nierhaus: Algorithmic Composition: Paradigms of Automated Music Generation / P. Doornbusch // Computer Music Journal. - 2010.

- 34. - 3. - P. 70-74.

175. Dou, W. Involuntary polymodal imagery involving olfaction, audition, touch, taste and vision / W. Dou, Y. Li, M. W. Geisler, E. Morsella // Conscious Cogn. - 2018.

- 62. - P. 9-20.

176. Edworthy, J. Does Sound Help Us to Work Better with Machines? A commentary on Rautenberg's paper' About the importance of auditory alarms during the operation of a plant simulator / J. Edworthy // Interacting with Computers. - 1998. - 10.

- P. 401-409.

177. Efe, A. Using Olfactory Displays as a Nontraditional Interface in Human Computer Interaction / A. Efe // J Learning and Teaching in Digital Age. - 2017. - vol. 2, № 2. - P. 14-25.

178. Egeth, E. On the locus of visual dominance / E. Egeth, L. C. Sager // Percept. and Psychophysics. - 1977. - Vol. 22. - № 1. - P. 77-86.

179. Elmenreich, W. Sensor Fusion in Time-Triggered Systems, PhD Thesis / W. Elmen-reich. - Vienna, Austria: Vienna University of Technology. - 2002. - 173 p.

180. Evolutionary Computer Music / E. R. Miranda, J. A. Biles. - London : SpringerVerlag, 2007. - 259 p.

181. Fitch, J. Csound6: old code renewed / J. Fitch, V. Lazzarini, S. Yi // Proc of the Linux Audio Conference (LAC'13). - Graz, 2013. - P. 69-75.

182. Fitch, T. Sonifying the body electric: Superiority of an auditory over a visual display in a complex, multi-variate system / T. Fitch, G. Kramer // Proc First International Conference on Auditory Display. - Reading, 1992. - P. 307-326.

183. Flowers, J. H. Thirteen years of reflection on auditory graphing: Promises, pitfalls, and potential new directions / J. H. Flowers // Proc First Symposium on Auditory Graphs. - Limerick, 2005. - P. 406-409.

184. Forte, A. The Structure of Atonal Music / A. Forte. - New Haven: Yale University Press. - 1973. - 224 p.

185. Frysinger, S. P. A brief history of auditory data representation to the 1980s / S. P. Frysinger // Proc First Symposium on Auditory Graphs. - Limerick, 2005. - P. 1-4.

186. Fujinaga, I. Machine recognition of timbre using steady-state tone of acoustical musical instruments / I. Fujinaga // Proc. of Int. Computer Music Conference. - University of Michigan, Ann Arbor, MI, 1998. - P. 207-210.

187. Gardenfors, D. Auditory Interfaces. A Design Platform. 2001 [Электронный ресурс] // Jonas Lindkvist Design : [сайт]. - Режим доступа: http://www.jld.se/dsounds/auditoryinterfaces.pdf

188. Gaver, W. W. Auditory Icons: Using Sound in Computer Interfaces/ W. W. Gaver // Human-Computer Interaction. - 1986. - 2. - № 2. - P. 167-177.

189. Gaver, W. W. The SonicFinder: An Interface That Uses Auditory Icons, HumanComputer Interaction. - 1989. - 4. - № 1. - P. 67-94.

190. Gaver, W. W. Using and Creating Auditory Icons / W. W. Gaver // Auditory Display: Sonification, Audification and Auditory interfaces / G. Kramer (Ed.). - Reading, MA, 1994. - P. 417-446.

191. Gibson, D. The Art of Mixing: A Visual Guide to Recording, Engineering and Production / D. Gibson. - Boston: Artistpro. - 2005. - 344 p.

192. Global Data on Visual Impairments [Электронный ресурс] // World Health Organization. - Режим доступа: http://www.who.int/blindness/GLOBALDATAFINAL-forweb.pdf

193. Gogins, M. Expanding the Power of Csound with Integrated HTML and JavaScript / M. Gogins // Proc 3rd International Csound Conference (ICSC'13). - St.Peters-burg, 2013. - P. 14-21.

194. Gregersen, P. K. Absolute pitch: prevalence, ethnic variation, and estimation of the genetic component / P. K. Gregersen, E. Kowalsky, N. Kohn, E. W. Marvin // Am J Hum Genet. - 1999. - 65(3). - P. 911-913.

195. Grey, J. M. An exploration of musical timbre using computer based techniques of analysis, synthesis and perceptual scaling / J. M. Grey. - University of Stanford, 1975.

196. Gross, B. M. The Managing of Organizations: The Administrative Struggle / B. M. Gross. - London : Collier-MacMillan, 1964. - 2 Vols. - 971 p.

197. Gross, T. Ambient Interfaces: Design Challenges and Recommendations / T. Gross // Proceedings of the 10th International Conference on Human-Computer Interaction - HCII 2003. - June 22-27, Crete, Greece. - 2003. - P. 68-72.

198. Hahn, A. A multi-layered and kill-chain based security analysis framework for cyber-physical systems / A. Hahn, R. K. Thomas, I. Lozano, A. Cardenas // IJCIP 11. - 2015. - P. 39-50.

199. Hairston, W. D. Auditory enhancement of visual temporal order judgment / W. D. Hairston, D. A. Hodges, J. H. Burdette, M. T. Wallace // Neuroreport. - 2006. -17(8). - P. 791-795.

200. Handel, S. Sound source identification: The possible role of timbre transformations / S. Handel, M. L. Erickson // Music Perception. - 2004. - 21. - P. 587-610.

201. Heintz, J. Ways Ahead: Proceedings of the First International Csound Conference / J. Heintz, A. Hofmann, I, McCardy. - Newcastle : Cambridge Scholars, 2013. - 310 p.

202. Hermann, T. An introduction to interactive sonification / T. Hermann, A. Hunt // IEEE Multimedia. - 2005. - P. 20-24.

203. Hermann, T. Interacting with Sonification Systems: Closing the Loop / T. Hermann, A. Hunt, S. Pauletto. // Eighth International Conference on Information Visualisation (IV'04). - London, 2004. - P. 879-884.

204. Hermann, T. Tweetscapes - Real-Time Sonification of Twitter Data Streams for Radio Broadcasting / T. Hermann, A. Nehls, F. Eitel, T. Barri, M. Gammel // Proced-ings of the 18th Conference on Auditory Display. - Atlanta, USA, 2012. - p. 113120.

205. Herrera, P. Towards instrument segmentation for music content description: A critical review of instrument classification techniques / P. Herrera, X. Amatriain, E. Batlle, X. Serra // International Symposium on Music Information Retrieval (ISMIR 2000). - Plymouth, MA, 2000 - P. 23-25.

206. Huang, N. E. A Review on Hilbert-Huang Transform: Method and its Applications to Geophysical Studies / N. E. Huang, Z. Wu // Rev. Geophys. - 2006. - 46(2).

207. Huiberts, S. Captivating Sound. The Role of Audio for Immersion in Computer Games : PhD Thesis / S. Huiberts. Utrecht School of the Arts, 2010. - 200 p.

208. Information Overload, Why it Matters and How to Combat it [ Электронный ресурс] // International Design Foundation. - Режим доступа: https://www.interac-tion-design.org/literature/article/information-overload-why-it-matters-and-how-to-combat-it

209. ISO/IEC 15938-4: 2002. MPEG-7: Information Technology - Multimedia Content Description Interface - Part 4: Audio. - ISO, 2002. - 106 p.

210. ISO/IEC FCD 14496-3 Subpart 5 - Information Technology - Coding of Audiovisual Objects - Low Bitrate Coding of Multimedia Objects, Part 3: Audio, Subpart 5: Structured Audio. - International Standard Organization, 1998.

211. Iverson, P. Isolating the dynamic attributes of musical timbre / P. Iverson, C. Krumhansl // Journal of the Acoustical Society of America. - 1993. - 94(5). - P. 2595-2603.

212. Jacob, G. P. S. The elements of orchestration / G. P. S. Jacob. - Essex : October House, 1965. - 216 p.

213. Jones, D. The Listening Machine: Generating Complex Musical Structure from Social Network Communications [Электронный ресур] / D. Jones, P. Gregson // Proc. 50th Anniversary Convention of the AISB. - London, 2014. - Режим доступа: http://doc.gold.ac.uk/aisb50/

214. Jones, H. Race as Technology: From Posthuman Cyborg to Human Industry / H. Jones, N. Jones // Ilha Desterro. - vol. 70, №2. - P. 39-51.

215. Joshi, V. Information Fusion Based Learning for Frugal Traffic State Sensing / V. Joshi, N. Rajamani, K. Takayuki, N. Prathapaneni, L. V. Subramaniam // Proceedings of the Twenty-Third International Joint Conference on Artificial Intelligence. -Beijing, China, 2013. - P. 2826-2832.

216. Kachroo, R. A Novel Technique for Optimized Routing in Wireless Body Area Network using Genetic Algorithm / R. Kachroo, R. Bajaj // J Network Communications and Emerging Technologies. - 2015. - Vol. 2. - 2. - P. 90-97.

217. Kane, B. Pierre Schaeffer, the Sound Object, and the Acousmatic Reduction / B. Kane // Sound Unseen: Acousmatic Sound in Theory and Practice / B. Kane. - 2014.

- Ch. 1. - P. 15-42.

218. Karjalainen, M. Plucked-String Models: From the Karplus-Strong Algorithm to Digital Waveguides and Beyond / M. Karjalainen, V. Välimäki, Tero Tolonen // Computer Music J. - 1998. - vol. 22, № 3. - P. 17-32.

219. Kay, L. A sonar aid to enhance spatial perception of the blind: engineering design and evaluation / L. Kay // Radio and Electronic Engineer. - 1974. - 44(11). - P. 605-627.

220. Keller, D. Ubiquitous Music / D. Keller, V. Lazzarini, M. S. Pimenta. - Springer, NY. - 2014. - 153 p.

221. Khaitan, S.K. Design Techniques and Applications of Cyberphysical Systems: A Survey / S.K. Khaitan, J. Mccalley // IEEE Systems Journal. - 2014. - № 9. - P. 116.

222. Kirichek, R. Flying Ubiquitous Sensor Networks as a Queueing System / R. Ki-richek, A. Paramonov, A. Koucheryavy // 17 th International Conference on Advanced Communications Technology. - Pyeongchang, 2015. - P. 128 - 132.

223. Klein, R. M. Attention and visual dominance: a chronometric analysis / R. M. Klein // Journ. of Exper. Psychol.: Human Percept. and Perform. - 1977. - Vol. 3. - №3.

- P. 365-378.

224. Köhler, W. Akustische Untersuchungen / W. Köhler. - Leipzig : Barth. - 1909.

225. Kramer, G. An Introduction to Auditory Display / G. Kramer // Auditory Display: Sonification, Audification, and Auditory Interfaces / G. Kramer (Ed.). - Reading, MA, 1994. - P. 1-78.

226. Krumhansl, C. Why is musical timbre so hard to understand? / C. Krumhansl // Structure and perception o/electroacoustic sound and music / S. Nielzen, O. Olsson (Eds.). - Amsterdam, 1989. - P. 43-53.

227. Kusmenko, E. Modeling Architectures of Cyber-Physical Systems / E. Kusmenko, A. Roth, B. Rumpe, M. von Wenckstern // European Conference on Modelling Foundations and Applications (ECMFA 2017). - Marburg, 2017. - P. 34-50.

228. Lakatos, S. A common perceptual space for harmonic and percussive timbres / S. Lakatos // Perception & Psychophysics. - 2000. - 62(7). - P. 1426-1439.

229. Landay, J. A. User Interface Issues in Mobile Computing / J. A. Landay, T. R. Kaufmann // Proc of the Fourth Workshop on Workstation Operating Systems. - Napa, CA, 1993. - P. 40-47.

230. Lazzarini, V. Csound on the Web / V. Lazzarini, E. Costello, S. Yi, J. ffitch // Proc Linux Audio Conference (LAC'14). - Karlsruhe, 2014.

231. Lazzarini, V. Csound: A Sound and Music Computing System / V. Lazzarini, S. Yi, J. ffitch, J. Heintz, 0. Brandtsegg, I. McCurdy. - Cham : Springer IPS, 2016. - 516 p.

232. Lee, J. A Cyber-Physical Systems architecture for Industry 4.0-based manufacturing systems / J. Lee, B. Bagheri, H. Kao // Manufacturing Letters. - 2015. - 3. - P. 1823.

233. Leek, M. R. Informational Masking and Auditory Attention / M. R. Leek, M. E. Brown, M. F. Dorman // Percept Pshychophys. - 1991. - 50(3). - P. 205-214.

234. Lembke, S. A. Dimensionen der Klangfarbe: Skalierung von Instrument alklängen unterschiedlicher Tonhöhe. MA Thesis / S. A. Lembke. -Technical University of Berlin, 2006.

235. Licklider, J. C. R. Basic correlates of the auditory stimulus / J. C. R. Licklider // Handbook of Experimental Psychology / S. S. Stevens (Ed.). - NY., 1951. - P. 9851039.

236. Liptak, B. G. Instrument Engineers' Handbook, Fourth Edition, Vol. Two: Process Control and Optimization / B. G. Liptak. - Boca Raton, FL: CRC Press, 2005. -2464 p.

237. Liu, Z. Cyber-Physical-Social Systems for Command and Control / Z. Liu, D. Yang, D. Wen, W. Zhang. W. Mao // IEEE Intelligent Systems. - 2011. - 26. - P. 92-96.

238. Lycan, W. The slighting of smell / W. Lycan // Of minds and molecules: New philosophical perspectives on chemistry / N. Bhushan, S. Rosenfeld (Eds.). - Oxford, 2000. - P. 273-291.

239. Ma, X. A Multimodal Vocabulary for Augmentative and Alternative Communication from Sound/Image Label Datasets / X. Ma, C. Fellbaum, P. R. Cook // Proceedings of the NAACL HLT 2010 Workshop on Speech and Language Processing for Assistive Technologies. - Los Angeles, 2010. - P. 62-70.

240. Maclachlan, D. L. C. Philosophy of Perception / D. L. C. Maclachlan. - Cliffs : Prentice-Hall, 1989. - 205 p.

241. Mallat, S. A Wavelet Tour of Signal Processing: The Sparse Way / S. Mallat. - NY.: Academic Press, 2008. - 832 p.

242. Mandelbaum, R. Stereo depth estimation: a confidence interval approach / R. Mandelbaum, G. Kamberova, M. Mintz // Sixth Int Conf on Computer Vision. - Bombay, 1998. - P. 503-509.

243. Manning, P. Electronic and Computer Music / P. Manning. - Oxford : Oxford UP, 2013. - 576 p.

244. Manzo, V. J. Max/MSP/Jitter for Music: A Practical Guide to Developing Interactive Music Systems for Education and More / V. J. Manzo. - NY.: Oxford, 2011. -360 p.

245. Marks, E. On coloured-hearing synesthesia: crossmodal translation of sensory dimensions / E. Marks // Psychol. Bullet. - 1975. - Vol. 82. - № 3. - P. 303-331.

246. Marozeau, J. The dependency of timbre on fundamental frequency / J. Marozeau, A. Cheveigne, S. McAdams, S. Winsberg // Journal of the Acoustical Society of America. - 2003. - 114. - P. 2946-2957.

247. Martin, K. Music content analysis through models of audition / K. Martin, E. Scheirer, B. Vercoe // Proc. ACM Multimedia Workshop on Content Processing of Music for Multimedia Applications. - Bristol, UK, 1998.

248. Maryna Viazovska. The sphere packing problem in dimension 8. - 2016. -arXiv:1603.04246.

249. Matsukura, H. Smelling Screen: Development and Evaluation of an Olfactory Display System for Presenting a Virtual Odor Source / H. Matsukura, H. T. Yoneda, H. Ishida // IEEE Transactions on Visualization and Computer Graphics. - 2013. - Vol. 19, № 4. - P. 606-615.

250. McAdams, S. Perceptual scaling of synthesized musical timbres: Common dimensions, specificities, and latent subject classes / S. McAdams, S. Winsberg, S. Don-nadieu, G. de Soete, J. Krimphoff // Psychological Research. - 1995. - 58(3). - P. 177-192.

251. McAdams, S. Perspectives on the contribution of timbre to musical structure / S. McAdams // Computer Music Journal. - 1999. - 23(3). - P. 85-102.

252. McAdams, S. The perception of musical timbre / S. McAdams, B. L. Giordano // The Oxford Handbook of Music Psychology / S. Hallam, I. Cross, M. Thaut (Eds.).

- Oxford, 2016. - Ch. 8. - P. 113-124.

253. McCartt, A. T. Driver Cellphone and Texting Bands in the United States: Evidence and Effectiveness / A. T. McCartt, D. G. Kidd, E. R. Teoh // Ann Adv Automot Med.

- 2014. - 58. - P. 99-114.

254. McLeod, P. A dual task response modality effect: support for multiprocessor models of attention / P. McLeod // Quart. Journ. Exper. Psychol. - 1977. - Vol. 29. - № 4.

- P. 651-667.

255. Middlebrooks, J. C. The Human Auditory System / J. C. Middlebrooks // Handbook of Clinical Neurology. - 2015. - 129. - P. 99-116.

256. Miner, N. E. A Wavelet Synthesis Technique for Creating Realistic Virtual Environment Sounds / N. E. Miner, T. P. Caudell // Presence: Teleoperators and Virtual Environments. - 2002. - 11(5). - P. 493-507.

257. Miranda, E. R. Evolutionary Computer Music / E. Miranda, J. Biles. - London : Springer, 2007. - 259 p.

258. Misdariis, N. Validation of a multidimensional distance model for perceptual dissimilarities among musical timbres / N. Misdariis, B. Smith, D. Presssnitzer, P. Susini, S. McAdams // J. Acoust. Soc. Am. - 1998. - 103. - P. 3005-3006.

259. Montgomery, E. T. Acoustic altimeter control of a free vehicle for near-bottom turbulence measurements / E. T. Montgomery, R. W. Schmitt // Deep Sea Research Part I: Oceanographic Research Papers. - 1997. - 44 (6). - P. 1077-1084.

260. Narumi, T. Meta Cookie+: An Illusion-Based Gustatory Display / S. Nishizaka, T. Kajinami, T. Tanikawa, M. Hirose // International Conference on Virtual and Mixed Reality - New Trends. VMR 2011. - Orlando, FL, USA. - 2011. - P. 260-269.

261. Neate, T. Csound for iOS API: A Beginner's Guide 1.1 [Электронный ресурс] / T. Neate, N. Arner, A. Richardson. - York : University of York, 2013. - 40 p. - Режим доступа: http://www-users.york.ac.uk/~adh2/iOS-CsoundABeginnersGuide.pdf

262. Obrist, M. Touch, Taste, & Smell User Interfaces: The Future of Multisensory HCI / M. Obrist, C. Velasco, C. T. Vi, P. Gopalakrishnakone // 2016 CHI Conference Extended Abstracts. - San Jose, 2016. - P. 3285-3292.

263. O'Callaghan, C. Lessons From Beyond Vision (Sounds and Audition) / C. O'Calla-ghan // Philosophical Studies. - 2011. - 153(1). - P. 143-160.

264. Omerdic, E. User interface for interaction with heterogeneous vehicles for cyber-physical systems / E. Omerdic, D. Toal, Z. Vukic // 2016 14th International Conference on Control, Automation, Robotics and Vision (ICARCV) - Phuket, 2016. - P. 1-5.

265. Ortega, L. Audition dominates vision in duration perception irrespective of salience, attention, and temporal discriminability / L. Ortega, E. Guzman-Martinez, M. Grabowecky, S. Suzuki // Attention, Perception & Psychophysics. - 2014. - 76. - P. 1485-1502.

266. Pauletto, S. A Toolkit for Interactive Sonification / S. Pauletto, A. Hunt // Proceedings of ICAD Tenth Meeting of the International Conference on Auditory Display. - Sydney, Australia, July 6-9, 2004.

267. Peeters, G. A large set of audio features for sound description (similarity and classification) in the CUIDADO project : CUIDADO IST Project Report / G. Peeters. -IRCAM, Paris, 2004. - P. 1-25.

268. Peeters, G. The Timbre Toolbox: Extracting audio descriptors from musical signals / G. Peeters, B. L. Giordano, P. Susini, N. Misdariis, S. McAdams // J. Acoust. Soc. Am. - 2011. - 130(5). - P. 2902-2916.

269. Peter S. Langston. Six Techniques for Algorithmic Music Composition / P. S. Lang-ston // Proc. ICMC. - 1989. - P. 164-167.

270. Recanzone, G. H. Auditory influences on visual temporal rate perception / G. H. Recanzone // J Neurophysiol. - 2003. - 89(2). - P. 1078-1093.

271. Reuter, C. Klangfarbe und Instrumentation / C. Reuter. - Frankfurt : Lang, 2002. -299 p.

272. Reuter, C. The colourful life of timbre spaces / C. Reuter, S. Siddiq // Body, Sound and Space in Music and Beyond Multimodal Exporations / C. Wollner. - Routledge, 2017. - Ch. 9. - P. 150-167.

273. Rioux, V. Wp2.1.5. psycho-acoustic timbre descriptors / V. Rioux, S. McAdams, P. Susini, G. Peeters (2002) // Cuidado Report. - Paris : IRCAM, 2002.

274. Risset, J.-C. Exploration of Timbre by Analysis and Synthesis / J.-C. Risset, D. L. Wessel // The Psychology of Music, Sec. Ed. / D. Deutsch. - San Diego, 1999. - P. 113-169.

275. Roads, C. Introduction to Granular Synthesis / C. Roads // Computer Music Journal. - 1988. - vol. 12, № 2. - P. 11-13.

276. Roads, C. Microsound / C. Roads. - Boston, MA : MIT Press, 2004. - 424 p.

277. Roads, C. The Computer Music Tutorial / C. Roads. - Boston : MIT Press, 1996. -1234 p.

278. Rodemann, T. A study on distance estimation in binaural sound localization / T. Rodermann // 2010 IEEE/RSJ Int Conf on Intelligent Robots and Systems. - Taipei, 2010. - P. 425-430.

279. Rogozinsky, G. G. Making Mainstream Synthesizers with Csound / G. G. Rogozinsky, E. Cherny, I. Osipenko // Proc 3rd International Csound Conference. - SPb., 2015. - P. 132-140.

280. Rogozinsky, G. G. Adaptation of Psychoacoustic Analysis to Wavelet Domain in Lossy Audio Coding / G. G. Rogozinsky, D. R. Fadeyev, D. A. Podolsky // 2017 Systems of Signal Synchronization, Generating and Processing in Telecommunications (Sinkhroinfo 2017). - Kazan, 2017. - P. 1-5.

281. Rogozinsky, G. G. A Personal View on Teaching Csound / G. G. Rogozinsky // J. Heintz, A. Hofmann, I, McCardy. Ways Ahead: Proceedings of the First International Csound Conference. - Newcastle : Cambridge Scholars, 2013. - P. 229-242.

282. Rogozinsky, G. Pch2csd: An application for converting Nord Modular G2 patches into Csound code / G. Rogozinsky, M. Chesnokov, E. Cherny // Proceedings of the 14th Sound and Music Conference (SMC). - Espoo, 2017. - P. 415-421.

283. Rogozinsky, G. G. The Multi Domain Infocommunication Model as the Basis of an Auditory Interfaces Developments for Multimedia Informational Systems / A. D. Sotnikov, G. G. Rogozinsky // T-comm: Телекоммуникации и транспорт. - 2017. - т. 11, № 5. - С. 77-82.

284. Rogozinsky, G. G. Principles of Cyber-Physical Models Mapping onto Sonification Sound Spaces / G. G. Rogozinsky, A. D. Sotnikov // Systems of Signals Generating and Processing in the Field of on Board Communications. - Moscow, 2018. - P. 14.

285. Rogozinsky, G. G. On Three Classes of Sound Spaces for Sonification Systems Design / G. G. Rogozinsky // T-Comm: Телекоммуникации и транспорт. - 2018. -т. 12, № 1. - P. 59-64.

286. Rogozinsky, G. G. Distributed Software Hardware Solution for Complex Network Sonification / G. G. Rogozinsky, K. V. Lyzhinkin, A. N. Egorova, D. A. Podolsky // Proceedings of LMAC 2017 - CCIS 943. - St. Petersburg, 2019. - P. 1-12.

287. Rogozinsky, G. G. A Software-Hardware Solution for Analysis of Phono-Cardiograms / S. V. Bachevsky, A. G. Vladyko, V. S. Uss, G. G. Rogozinsky // T-Comm: Телекоммуникации и транспорт. - 2019. - т. 13, № 9. - P. 50-57.

288. Rogozinsky, G. G. On Information Technology Development for Monitoring of Air Pollution by Road and Water Transport in Large Port Cities (St. Petersburg, Vladivostok and Sevastopol) / V. Lozhkin, O. Lozhkina, G. Rogozinsky, I. Malygin // Modern Information Technology and IT Education. SITITO 2018. Communications in Computer and Information Science, vol 1201. - Moscow, 2019. - P. 384-396.

289. Rogozinsky, G. On VAE latent space vectors distributed evolution driven music generation / G. Rogozinsky, A. Shchekochikhin // CEUR Workshop Proc. MICSECS 2019, vol. 2590. - St.Petersburg, 2020. - P. 22:1-12

290. Rogozinsky, G. Method of early pedestrian warning in developing intelligent transportation system infrastructure / A. Vladyko, V. Elagin, G. Rogozinsky // Transportation Research Procedia, vol. 50. - St.Petersburg, 2020. - P. 708-715.

291. Sabic, E. Threshold of Spearcon Recognition for Auditory Menus / E. Sabic, J. Chen // Proceedings of the Human Factors and Ergonomics Society Annual Meeting. -2016. - Vol. 60. - № 1. - P. 1539-1543.

292. Schaeffer, P. In Search of a Concrete Music / P. Schaeffer. - Berkley, CA: UC Press. - 2012. - 228 p.

293. Schafer, R. M. The Soundscape: Our Sonic Environment and the Tuning of the World / R. M. Schafer. - Vermont : Destiny Books, 1994. - 320 p.

294. Scheirer, E. D. The MPEG-4 Structured Audio Standard / E. D. Scheirer // ICASSP'98. - Seattle, 1998. - P. 3801-3804.

295. Shin, D. Control-theoretic cyber-physical system modeling and synthesis: A case study of an active direct methanol fuel cell / D. Shin, J. Park, Y. Kim, J. Seo, N. Chang // ACM Trans. Embedded Comput. Syst. - 2012. - 11. - P. 1-24.

296. Sikora, C. Musical vs. real world feedback signals / C. Sikora, L. Roberts, T. Murray // Human Factors in Computing Systems (CHI '95) Conference. - Denver, 1995. -P. 220-221.

297. Smith III, J. O. Efficient Synthesis of Stringed Musical Instruments / J. O. Smith III // Proc. 1993 Int Computer Music Conference. - San Francisco, 1993. - P. 64-71.

298. Smith III, J. O. Physical modeling using digital waveguides / J. O. Smith III // Computer Music J. - 1992. - vol. 16 - P. 74-91.

299. Soldani, D. 5G Mobile Systems for Healthcare / D. Soldani, F. Fadini, H. Rasanen, J. Duran, T. Niemela, D. Chandramouli, T. Hoglund, K. Doppler, T. Himanen, J. Laiho, N. Nanavaty // Vehicular Technology Conference (VTC Spring) 2017 IEEE 85th. - Sydney, 2017. - P. 1-5.

300. Soldatos, J. Internet of Things Applications in Future Manufacturing. / J. Soldatos, S. Gusmeroli, P. Malo, G. Di Orio // Digisting Industry - Internet of Things Connecting the Physical, Digital and Virtual Worlds - Lange Geer, 2016. - Chapter 5. -P. 153-183.

301. Sotnikov, A. D. The Multi Domain Infocommunication Model as the Basis of an Auditory Interfaces Developments for Multimedia Informational Systems / A. D. Sotnikov, G. G. Rogozinsky // T-comm: Телекоммуникации и транспорт. - 2017.

- vol. 11, № 5. - С. 77-82.

302. Speeth, S. D. Seismometer sounds / S.D. Speeth // The journal of the Acoustical Society of America. - 1961. - 33(7). - P. 909-916.

303. Stinson, E. EVS are Dangerously Quiet. Here's What They Could Sound Like [Электронный ресурс] / E. Stinson // Wired [Интернет-портал]. - 2017. - Режим доступа https://www.wired.com/2017/04/evs-dangerously-quiet-heres-sound-like/

304. Stockhausen, K. Stockhausen on Music: Lectures and Interviews / K. Stockhausen; ed. by Robin Maconie. - London and New York: Marion Boyars. - 2000. - 220 p.

305. Stumpf, C. Tonpsychologie / C. Stumpf. - Leipzig, Hirzel. - 1890. - 463 p.

306. Sumikawa, D. A. Guidelines for the integration of audio cues into computer user interfaces : Master Dissertation / D. A. Sumikawa. University of California. - 1985.

- 110 p.

307. Sziklai, G. Some studies in the speed of visual perception / G. Sziklai // IRE Transactions on Informational Theory. - 1956. - 2(3). - P. 125-128.

308. Taylor, R. L. An analysis of sensory interaction / R. L. Taylor // Neuropsychologia. - 1974. - Vol. 12. - №1. - P. 65-71.

309. Thaut, M. H. Human Brain Basis of Musical Rhythm Perception: Common and Distinct Neural Substrates for Meter, Tempo, and Pattern / M. H. Thaut, P. D. Tri-marchi, L. M. Parsons // Brain Sci. - 2014. - 4(2). - P. 428-452.

310. The Csound book: Perspectives in Software Synthesis, Sound Design, Signal Processing, and Programming / ed. R. Boulanger. - Boston : MIT Press. - 2000. - 782 p.

311. The MIDI 1.0 Specification V96.1, Second Edition. The MIDI Manufacturers Association, Los Angeles, 2001. - 334 p.

312. The Sonification Handbook / T. Hermann, A. Hunt, J. Neuhoff. - Berlin : J. Logos Verlag, 2011. - 584 p.

313. Truax, B. Acoustic Communication / B. Truax. - Westport : Ablex Publishing, 2001.

- 321 p.

314. Turk, M. Multimodal interaction: a review / M. Turk // Pattern Recognition Letters.

- 2013. - vol. 36. - P. 189-195.

315. Verplank, B. Scanned Synthesis / B. Verplank, M. Mathews, R. Shaw // J. Acoustical Society of America. - 2001. - P. 109-113.

316. Vi, T. C. Gustatory Interface: the challenges of 'how' to stimulate the sense of taste / T. C. Vi, D. Ablart, D. Arthur, M. Obrist // Proc of the 2nd ACM SIGCHI International Workshop on Multisensory Approaches to Human-Food Interaction. - Glasgow, 2017. - P. 29-33.

317. von Heimholtz, H. Die Lehre von den Tonempfindungen als physiologische Grundlagefür die Theorie der Musik / H. von Heimgoltz. - Braunschweig : Vieweg.

- 1863. - 634 p.

318. von Heimholtz, H. On the sensations of tone as a physiological basis for the theory of music / H. von Heimholtz, A. J. Ellis. - London: Longmans, Green & Co. - 1885.

- 612 p.

319. Vybornova, A. Analysis of the Packet Path Lengths in the Swarms for Flying Ubiquitous Sensor Networks / A. Vybornova, A. Paramonov, A. Koucheryavy // DCCN 2016. - 2016. - 678. - P. 361-368.

320. Walker, B. N. Spearcon Performance and Preference for Auditory Menus on a Mobile Phone / B. N. Walker, A. Kogan // International Conference on Universal Access in Human-Computer Interaction (UAHCI 2009). - San Diego, 2009. - P. 445454.

321. Walker, B. N. Spearcons (Speech-Based Earcons) Improve Navigation Performance in Advanced Auditory Menus / B. N. Walker, J. Lindsay, A. Nance, Y. Nakano, D. K. Palladino, T. Dingler, M. Jeon // Hum Factors. - 2013. - 55(1). - P. 157-182.

322. Wessel, D. Timbre space as a musical control structure / D. Wessel // Computer Music Journal. - 1979. - 3(2). - P. 42-52.

323. Wickens, C. D. Multiple resources and performance prediction / C. D. Wickens // Theoretical Issues in Ergonomics Science. - 2002. - 3(2). - P. 159-177.

324. Wickens, C. D. Processing Resources in Attention, Dual Task Performance, and Workload Assessment / C. Wickens // Defense Technical Information Center, Fort Belvoir. - 1981.

325. Widor, C. M. Die Technik des modernen Orchesters / C. M. Widor, H. Riemann, H. Berlioz. - Leipzig, 1904. - 283 p.

326. Wilson, S. The Supercollider book / S. Wilson, D. Cottle, N. Collins et al. - Boston, MIT Press, 2011. - 776 p.

327. Woerdeman, P. A. Auditory feedback during frameless image-guided surgery in a phantom model and initial clinical experience / P. A. Woerdeman, P. W. A. Willems, H. J. Noordsmans, J. W. Berkelbach van der Sprenken // J. Neurosurg. - 2009. - 110 (2). - P. 257-262.

328. Worall, D. An Introduction to Data Sonification / D. Worall // The Oxford Handbook of Computer Music / Ed. Roger T. Dean. - Oxford, 2009. - Ch. 16. - P. 312-333.

329. Worrall, D. Information Sonification: Concepts, Instruments and Techniques : PhD Thesis / D. Worrall. University of Canberra, 2009.

330. Wynn, D. M. Auditory Arousal in Recognition of Visual Stimuli / D. M. Wynn // Percept. and Motor Skills. - 1977. - Vol. 44. - № 3. - P. 1065-1066.

331. Xenakis, I. Formalized Music. Thought and Mathematics in Composition / I. Xena-kis. - N.Y.: Pendragon Press, 1992. - 400 p.

332. Xiong, N. Multi-sensor management for information fusion: issues and approaches / N. Xiong, P. Svensson // Information Fusion. - 2002. - 3(2). - P. 163-186.

333. Yi, S. Csound for Android / S. Yi, V. Lazzarini // Proc Linux Audio Conference (LAC'12). - Stanford, 2012. - P. 29-34.

334. Zhou, F. Multi-sensory integration of spatio-temporal segmentation cues: one plus one does not always equal two / F. Zhou, V. Wong, R. Sekuler // Exp Brain Res. -2007. - 180(4). - P. 641-654.

335. Zhuge, H. Semantic linking through spaces for cyber-physical-socio intelligence: A methodology / H. Zhuge // Artificial Intelligence. - 2011. - 175. - P. 988-1019.

336. Ziemer, T. Psychoacoustic sonification design for navigation in surgical interventions / T. Ziemer, D. Black, H. Schultheis // Proceedings of Meetings on Acoustics. - Boston, 2017. - Vol. 30.

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

ГА - генетический алгоритм; ЗО - звуковой объект; ЗП - звуковое пространство; ИД - информационный домен; ИИ - искусственный интеллект;

ИТС - информационно-телекоммуникационные системы;

КД - когнитивный домен;

КО - кибернетический объект;

КФА - киберфизический атом;

КФГ - киберфизический ориентированный граф;

КФК - киберфизический кластер;

КФС - киберфизические системы;

КФП - киберфизическое пространство;

КФТ - киберфизическая топология;

КФО - киберфизический объект;

МДМК - мультидоменная модель коммуникаций;

МТП - многомерное тембральное пространство;

ОС - операционная система;

ПМИ - полимодальный интерфейс;

ПО - программное обеспечение;

САПР - система автоматизированного проектирования;

ТК - тембральный класс;

ТП - тембральное пространство;

ФД - физический домен;

ФО - физический объект;

ЧМИ - человеко-машинный интерфейс;

AFT - частотно-временное пространство (англ. Amplitude-Frequency-Time);

API - программный интерфейс приложения (англ. Application Programming Interface);

HRTF - передаточная функция головы (англ. Head-Related Transfer Function); M2M -межмашинное взаимодействие (англ. Machine to Machine); MIDI - протокол Musical Instrument Digital Interface;

NFC - технология «ближней бесконтактной связи» (Near Field Communication); OSC - протокол Open Sound Control;

PhG - фонографическое пространство (англ. Phonographic space);

sAFT - субъективизированное частотно-временное пространство (англ. subjecti-

vized Amplitude-Frequency-Time space);

VANET - автомобильные самоорганизующиеся сети ( Vehicular Ad-hoc Networks); WBAN - беспроводные нательные компьютерные сети (Wireless Body Area Networks);

ПРИЛОЖЕНИЕ А. ЛИСТИНГИ ПРОГРАММ WINTERMUTE И SHADOWS ДЛЯ СОНИФИКАЦИИ НА ЯЗЫКЕ CSOUND

Программа Wintermute (Свидетельство о регистрации программы для ЭВМ RU 2019613755, 22.03.2019. Заявка № 2019612772 от 19.03.2019. Авторы Рогозин-ский Г. Г., Подольский Д. А., Горячев Н. В.), написанная на языке Csound, предназначена для синтеза эмбиентных звуковых ландшафтов с целью применения их в системах сонификации, интерактивных медиаперформансах и инсталляциях, а также для задач звукового дизайна. Программа позволяет генерировать N однотипных голосов сложного синтезатора. Каждый голос формируется в результате узкополосной фильтрации белого шума.