Аналого-цифровое фотограмметрическое преобразование изображений голограмм отражательного типа тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Рабош Екатерина Владимировна

• Рабош Екатерина Владимировна
• кандидат наук
• 2023

Оглавление диссертации кандидат наук Рабош Екатерина Владимировна

Реферат

Synopsis

Введение

ГЛАВА 1. Изобразительная голография и методы

преобразования информации, содержащейся в голограммах

1.1 Изобразительная голография для архивного и краткосрочного

хранения информации

1.1.1 Аргументы в пользу использования изобразительной голографии

1.1.2 Объекты, характерные для архивного хранения в изобразительных голограммах

1.1.3 Объекты, характерные для средне- и краткосрочного хранения в изобразительных голограммах

1.2 Аналого-цифровое преобразование информации

1.2.1 Фотограмметрическая оцифровка ракурсов голографических изображений, восстановленных отражательными голограммами

1.2.2 "ГолоГрафика" для оцифровки ракурсов голографических изображений, восстановленных отражательными голограммами при смещении источника излучения

1.2.3 Оцифровка объемных голографических изображений с помощью голографической топометрии

1.2.4 Цифровая голография света в полете

1.2.5 Оцифровка волнового фронта объекта с помощью безлинзовой цифровой голографии Фурье с синтетической апертурой

1.2.6 Оцифровка и расшифровка дифракционной структуры внеосевой голограммы с помощью микроскопии

1.3 Цифро-аналоговое преобразование информации

1.3.1 Печать дифракционной структуры

1.3.2 Голографическая печать волнового поля и печать голографических стереограмм

1.3.3 Цифро-аналоговая голография

1.4 Разработанная концептуальная схема подходов к преобразованию информации, содержащейся в изобразительных голограммах

1.5 Выводы по Главе

ГЛАВА 2. Аналого-цифровое фотограмметрическое

преобразование информации, восстановленной изобразительными голограммами. Методы и экспериментальные результаты

2.1 Запись изобразительных голограмм отражательного типа

2.2 Фотограмметрия

2.2.1 Область применений фотограмметрии

2.2.2 Оборудование для фотографирования. Схемы аналого-цифрового преобразования

2.2.3 Выбор фотограмметрического пакета для обработки данных с изобразительной голограммы

2.2.4 Принцип построения и обработки фотограмметрической модели

2.3 Первичные экспериментальные результаты оцифровки аналоговой объектной волны, восстановленной изобразительной голограммой

2.4 Сравнение фрагментов 3Э и 3ЭЬ моделей

2.5 Влияние нулевого порядка на процесс оцифровки голографического изображения

2.6 Влияние различных источников освещения на качество модели

2.7 Экспериментальные результаты оценки коэффициента заполнения голограммы объектом

2.8 Выводы по Главе

ГЛАВА 3. Запись голографических изображений с нескольких

ракурсов для достижения полного углового охвата

3.1 Моделирование конструкции для записи голограмм

3.2 Апробация макета

3.3 Выводы по Главе

ГЛАВА 4. Исследование дифракционной структуры

изобразительных голограмм и разработка методики контроля ее состояния

4.1 Методы исследования дифракционнной структуры классических голограмм

4.1.1 Монохромные голограммы

4.1.2 Цветные голограммы

4.2 Влияние процедуры отбеливания на состояние дифракционной

структуры цветной голограммы

4.2.1 Экспериментальные результаты

4.3 Влияние актиничного излучения на дифракционную структуру

голограмм отражательного типа

4.3.1 Экспериментальные результаты

4.4 Область применения фотограмметрической методики для контроля состояния дифракционной структуры

изобразительных голограмм

4.5 Выводы по Главе

Заключение

190

Список сокращений и условных обозначений

Словарь терминов

Список литературы

Благодарности

Приложение А. Тексты публикаций

Реферат

Введение диссертации (часть автореферата) на тему «Аналого-цифровое фотограмметрическое преобразование изображений голограмм отражательного типа»

1. Общая характеристика диссертации Актуальность темы

История аналоговой и, в частности, изобразительной голографии, насчитывает уже несколько десятилетий. Однако существующие подходы к аналого-цифровому преобразованию (АЦП) информации, содержащейся в аналоговых голограммах, немногочисленны и пока не получили широкого распространения в научной среде.

В настоящее время наблюдается возрастающий интерес к совместному использованию изобразительной голографии и всевозможных методов записи, обработки и хранения информации в различных научных исследованиях. Эта тенденция считается перспективной, так как применяемые для записи изобразительных голограмм фоточувствительные материалы, основанные на галогенидах серебра, представляют собой высокоразрешающие носители архивной памяти, доказавшие свою эффективность. Кроме того, они не подвержены недостаткам, связанным с изменением формата хранения информации с течением времени (например, формат хранения цифровых данных меняется каждые 5-10 лет), а также не являются восприимчивыми к цифровым угрозам, таким как вирусы и вредоносные действия.

Актуальность разработки метода АЦП информации о точной форме объекта из аналоговой голограммы заключается в широком спектре применения этого метода. Он может использоваться для кратко- и среднесрочного хранения информации в различных сферах, таких как биомедицина, косметология, криминалистика, антропология, археология, образовательные технологии. Информация, полученная из голограмм, как в аналоговом виде, так и в цифровом, может храниться в музейных архивах.

Поскольку музей как культурный центр остается массовым хранилищем особо ценных предметов, к процессу архивного хранения его экспонатов предъявляются жесткие требования. В связи с этим важно не только скрупулезно выявлять информацию о предметах музейной коллекции, но и сохранять ее на многие десятилетия. Именно здесь изобразительная голография нашла свою нишу как одна из перспективных технологий. Современные тренды вынуждают работников арт-индустрии переводить в цифровой формат всё больше субьектов своей деятельности. Соответственно, возрастает и потребность в компьютерной обработке и хранении соответствующих цифровых данных.

В рамках подготовки настоящего диссертационного исследования был проведен анализ современной научной литературы как по теме работы, так и в смежных сферах. В наиболее близких по тематике диссертации источниках поднимается вопрос о разработке методов, в которых информация о форме объекта, содержащаяся в изобразительной голограмме, используется для решения узкоспециализированных задач, в целом отличных от задач, решаемых в настоящей диссертационной работе. Также отметим, что в данных исследованиях зачастую отсутствует исчерпывающее описание процессов, происходящих в ходе реализации рассматриваемых методов, либо сами исследования не являются широко изученными. Все это указывает на необходимость разработки методики оцифровки голографического изображения, восстановленного аналоговой изобразительной голограммой. Стоит отметить, что в изученных научных работах методы оцифровки голографических изображений применяются для оперативного использования информации, в то время как в настоящей работе акцент сделан на применении предлагаемого подхода оцифровки информации для задач архивного хранения информации, причем сразу в нескольких форматах — аналоговом и цифровом.

В рамках данной работы с целью формирования полной картины существующих подходов к АЦП информации, содержащейся в изобразительных голограммах, были подробно рассмотрены все известные из научной литературы методы преобразования информации, использующиеся в данных целях; выявлены и проанализированы их основные премущества и недоработки. Ряд

существующих подходов к АЦП информации дополнен фотограмметрическим методом, хорошо известным в области оцифровки реальных объектов. В результате проведенного исследования сформированны и составлены ключевые требования и методики для разрабатываемого подхода АЦП информации на основе получения фотограмметрических данных при восстановлении гологра-фического изображения.

Цель

Цель настоящей диссертационной работы — разработка и исследование фотограмметрической методики аналого-цифрового преобразования информации об объекте, которая содержится в изобразительных голограммах, а также применение данного метода для контроля состояния дифракционной структуры голограмм.

Для достижения данной цели в рамках диссертации были поставлены и решены следующие задачи:

Задача 1 — Провести сравнительный анализ известных на момент проведения настоящего исследования методов аналого-цифрового и цифро-аналогового преобразования информации, содержащейся в аналоговых голограммах различного типа.

Задача 2 — Выполнить запись голограмм и восстановление голографического изображения, провести фотограмметрическую съемку реального объекта и его голографического изображения.

Задача 3 — Экспериментально апробировать разработанную методику путем создания 3Э модели голографического изображения объекта. Выполнить оценку точности метода путем сопоставления цифровых моделей, построенных по

фотограмметрическим наборам данных реального объекта и его голографиче-ского изображения.

Задача 4 — Сформулировать требования к разрабатываемому методу аналого-цифрового преобразования информации, необходимые для точного построения цифровой модели. Описать зависимость угла обзора голограммы от коэффициента заполнения объектом голограммы при фотограмметрической съемке.

Задача 5 — Применить фотограмметрическую методику для оцифровки информации об объектах из архивных статичных изобразительных голограмм и численно охарактеризовать качество голографического изображения. Исследовать влияние актиничного излучения на состояние дифракционной структуры голограммы.

Методы исследования

В диссертации использованы классические методы оптики, лазерной физики и современное измерительное оборудование. Для регистрации изобразительных голограмм отражательного типа во встречных пучках [1] использовался фотографический высокоразрешающий материал ПФГ-03М фирмы «Славич» следующих размеров (мм): 76 х 76, 102 х 102, 102 х 127. Для химической постобработки голограмм, записанных на галогенидосеребряных фотопластинках, использованы реактивы для процедур проявления, фиксирования и сушки экспонированной эмульсии. В качестве оборудования для регистрации изобразительных голограмм использовался интерферометрический стол, собственная частота колебаний которого позволяет устанавливать время экспонирования светочувствительных сред при записи голограмм до 2,5 часов. В качестве источников лазерного излучения использовались DPSS-лазеры фирмы LASOS с центральными длинами волн: 640, 532 и 457 нм. Регистрация объектного волнового фронта, восстановленного изобразительной голограммой, производилась с помощью ПЗС-матрицы фирмы Sony ICX-493-AQA. Число пикселей

3860 х 2590, размером 6,05 х 6,05 мкм. Для редактирования цифровых данных и построения цифровых трехмерных фотограмметрических моделей использовались такие программы как Inkscape, MATLAB, Agisoft Metashape, CloudCompare, Zephyr.

Основные положения, выносимые на защиту

Положение 1: Разработанная фотограмметрическая методика для оцифровки голографического трехмерного изображения, восстановленного отражательной голограммой, непрозрачного объекта, позволяет получить трехмерную цифровую модель фрагмента его поверхности; при этом стандартное отклонение полученной трехмерной модели на основе аналого-цифрового преобразования голографического изображения от трехмерной модели, полученной при фотограмметрической съемке реального объекта, составляет не более 24%.

Положение 2: Методика аналого-цифрового фотограмметрического преобразования изображений голограмм отражательного типа позволяет построить цифровую трехмерную модель объекта, содержащую достаточно информации о его поверхности для полного представления ее с любого ракурса с угловым охватом 4п стерадиан, в случае использования не менее четырех голограмм идентичного формата, при записи которых объект своими сторонами ориентируется параллельно граням охватывающего его воображаемого тетраэдра, а также при условии, что коэффициент заполнения объектом голограммы не превышает 20%.

Положение 3: Методика фотограмметрического преобразования аналоговых изображений голограмм отражательного типа позволяет осуществлять контроль состояния дифракционной структуры таких голограмм; с помощью методики установлено, что освещение постоянным потоком 155 лм актиничного широкополосного излучения в видимом диапазоне спектра в течение 25 тысяч и более часов приводит к снижению контраста аналогового изображения та-

кой голограммы на 10-20% по трем цветовым каналам на фоточувствительной высокоразрешающей среде на основе галогенида серебра.

Научная новизна диссертации раскрывается в следующих аспектах:

1. Представлен глубокий анализ научной литературы, который посвящен проблеме оцифровки голографических изображений, хранящихся в изобразительных голограммах и восстанавливаемых ими. Впервые проведен исчерпывающий обзор применяемых и пригодных для применения подходов к аналого-цифровому преобразованию информации, содержащейся в изобразительных голограммах. В результате анализа выделено 6 научных подходов к преобразованию информации из аналогового в цифровой формат, а также 4 научных подхода к преобразованию информации из цифрового в аналоговый формат при работе с голограммами. Подробно рассмотрены достоинства и особенности этих подходов, с которыми сопоставляется предлагаемый в работе метод.

2. Сформулирована проблема, являющаяся ключевым фактором, сдерживающим развитие техники изобразительной голографии, а также аргументирована целесообразность поиска методов преодоления выявленной проблемы. Показано, что техника фотограмметрии является наиболее перспективным инструментом оцифровки голографических изображений за счет ряда очевидных преимуществ перед другими методами.

3. Разработана и впервые реализована на практике методика фотограмметрической оцифровки голографического изображения, которая позволяет создать трехмерную цифровую модель поверхности объекта. При этом, стандартное отклонение полученной трехмерной модели на основе аналого-цифрового преобразования голографического изображения от трехмерной модели, созданной в результате фотограмметрической съемки реального объекта, составляет не более 24%.

4. Впервые предложен метод для создания трехмерной цифровой модели, построенной по восстановленным изображениям с голограмм, записанных с объекта с угловым охватом 4п стерадиан на основе аналого-цифрового фотограмметрического преобразования голограмм отражательного типа. Разработана экспериментальная оснастка для записи голограмм отражательного типа.

5. Продемонстрирована возможность применения предложенного алгоритма аналого-цифрового преобразования информации, содержащейся в голографическом изображении, в качестве метода для оценки качества дифракционной структуры изобразительной голограммы в процессе ее хранения и эксплуатации при отсутствии реального объекта, чей волновой фронт был записан на голограмму.

Теоретическая значимость

1. Предложенная методика аналого-цифрового преобразования информации обеспечивает доступ к детальной информации о форме объекта и структуре его поверхности. Так, с помощью предложенного метода становится возможным изготовление точной физической копии объекта на основе цифровой 3Э модели, полученной с изобразительной голограммы, даже если оригинальный объект был утрачен или перестал существовать. Наличия изобразительной голограммы объекта и технологий преобразования информации с аналоговой голограммы в цифровой формат в большинстве случаев достаточно для воссоздания оригинала.

2. С помощью предлагаемой методики аналого-цифрового преобразования информации возможно проводить интерферометрический анализ реальных объектов, имеющих определенную степень деформации, при наличии их голографических изображений, записанных в разные моменты времени. Благодаря этому, данная методика особо значима для таких областей

применения, как цифровое обращение процесса эрозии, разрушения или повреждения шедевров скульптуры или любых других экспонатов.

3. Предложенная концепция долгосрочного хранения информации о форме культурно-значимых объектов в виде изобразительных голограмм отражательного типа позволяет уже сейчас архивировать сведения о форме объекта с максимальной детализацией и оцифровывать ее по мере необходимости и развития методов оцифровки.

Практическая значимость работы заключается в возможности создания 3Э модели голографического изображения, восстановленного голограммой отражательного типа, с помощью простого в использовании метода фотограмметрии, не требующего дорогостоящего оборудования и подходящего для большинства типов аналоговых голограмм, помимо отражательных.

С технической точки зрения, использование изобразительной голографии позволяет осуществлять мониторинг состояния исторически ценных объектов, а аналого-цифровое преобразование записанной информации позволяет проводить компьютерную обработку и анализ данных.

Кроме того, применение методики для исследования качества дифракционной структуры полноцветных голограмм отражательного типа позволит контролировать состояние таких голограмм, находящихся на продолжительной экспозиции на выставках и в музейных фондах, и в случае деградации дифракционной структуры - предотвратить ее дальнейшее ухудшение, уменьшая интенсивность источника излучения или выбирая наиболее щадящие источники освещения, восстанавливающие голографическое изображение. Методика позволяет проводить анализ полноцветных голографических изображений как стационарно - после записи голограммы при восстановлении изображения, так и динамически - в разные контрольные временные точки.

Определение новых терминов и понятий

Введены следующие новые понятия:

— Оцифровка голографического изображения — аналого-цифровое преобразование информации об изображении, восстановленном голограммой отражательного типа, с помощью цифровых технологий;

— Подходы аналого-цифрового преобразования (АЦП) — подходы к преобразованию голографических данных, записанных исходно на аналоговых голографических материалах;

— Подходы цифро-аналогового преобразования (ЦАП) — подходы, направленные на вывод цифровой информации с трехмерных моделей в различные форматы компьютерных голограмм (КГ), включая голографические стереограммы и голограммы отраженного изображения, записанные на специальных голографических принтерах;

— SDh-модель — цифровая трехмерная модель объекта, построенная на основе серий фотографий его голографического изображения ("h" от англ. "hologram").

Достоверность полученных результатов обеспечивается использованием современного оборудования для записи голограмм, цифровой регистрации восстановленных голографических изображений и для построения трехмерных цифровых моделей (с использованием фотограмметрических пакетов программного обеспечения). Достоверность полученных в диссертации результатов также подтверждается повторяемостью экспериментальных результатов в виде го-лографических изображений и цифровых моделей, полученных с помощью общепринятых в оптической голографии и области обработки цифровых изображений теоретических и экспериментальных физико-математических методов. Полученные в ходе работы результаты полностью соответствуют известным знаниям об исследуемых голографических материалах, а разработанные теоретические модели характеризуются непротиворечивостью и согласованностью с основными физическими законами. Результаты настоящей диссертации неоднократно представлялись на международных конференциях и опубликованы в научных рецензируемых журналах.

Внедрение результатов работы

Данная диссертационная работа может быть отнесена к поисковым и прикладным исследованиям.

Апробация результатов работы

Результаты, полученные в ходе диссертационной работы, были апробированы на международных и российских конференциях в виде устных и стендовых докладов:

1. XXXI Международная школа-симпозиум по голографии, когерентной оптике и фотонике (HOLOSCHOOL), 2019, Екатеринбург, Россия.

2. XI Международная конференция "Фундаментальные проблемы оптики" ФПО, 2019, Санкт-Петербург, Россия.

3. XLIX научная и учебно-методическая конференция Университета ИТМО,

2020, Санкт-Петербург, Россия.

4. IX Конгресс молодых ученых (КМУ), 2020, Санкт-Петербург, Россия.

5. XII Международная конференция "Фундаментальные проблемы оптики" ФПО, 2020, Санкт-Петербург, Россия.

6. L научная и учебно-методическая конференция Университета ИТМО,

2021, Санкт-Петербург, Россия.

7. Х Конгресс молодых ученых (КМУ), 2021, Санкт-Петербург, Россия.

8. The RISE IMET International Conference on Emerging Technologies and the Digital Transformation of Museums and Heritage Sites, 2021, Никосия, Кипр.

9. Конкурс-конференция "Оптические и информационные технологии", 2021, Новосибирск, Россия.

10. Smart NanoMaterials, Advances, Innovation and Applications (SNAIA), 2021, Париж, Франция.

11. XXXII Международная школа-симпозиум по голографии, когерентной оптике и фотонике (HOLOSCHOOL), 2022, Санкт-Петербург, Россия.

12. The International Society for Photogrammetry and Remote Sensing (ISPRS), 2022, Ницца, Франция.

13. Международная конференция по голографии и прикладным оптическим технологиям HOLOEXPO, 2022, Санкт-Петербург, Россия.

14. International Conference on Machine Vision and Applications (ICMVA), 2023, Сингапур, Сингапур.

15. IX Международная конференция и молодежная школа "Информационные технологии и нанотехнологии" (ITNT), 2023, Самара, Россия.

16. Международная конференция по голографии и прикладным оптическим технологиям HOLOEXPO, 2023, Сочи, Россия.

Личный вклад автора

Автор принимал участие в подготовке экспериментальных установок, проведении экспериментальных и теоретических исследований, а также анализе результатов и подготовке публикаций и конференционных докладов может . Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы. Личный вклад автора состоит в постановке цели и задач, разработке методов их решения, организации и выполнении экспериментов, анализе литературы, представлении и обсуждении результатов исследований на конференциях и семинарах, установлении необходимых контактов с ведущими специалистами в области разработки и исследования объёмных голограмм и материалов для их записи. Все представленные в диссертации результаты получены лично автором.

Структура и объем диссертации

Диссертационная работа состоит из введения, четырех глав, заключения, списка сокращений и терминов, списка литературы, включающего 177 наименований. Работа изложена на 266 страницах, содержит 46 рисунков и 3 таблицы.

Публикации

Результаты по теме диссертации опубликованы в 5 печатных работах, в том числе 4 - в изданиях, которые включены в международные базы цитирования Web of Science и Scopus, 1 - в изданиях, перечень которых утвержден ВАК.

Основное содержание работы

Во Введении обоснована актуальность исследования, сформулированы основные термины, связанные с тематикой диссертационной работы, сформулированы цель и задачи, перечислены методы исследования, представлена научная новизна, описаны теоретическая и практическая значимости работы, приведены основные научные положения, выносимые на защиту.

Первая глава посвящена обзору литературных источников по теме диссертации. В современной научной литературе вопросам голографии все так же уделяется достаточно большое внимание, однако подавляющее большинство публикуемых работ посвящено исследованиям в области цифровой и компьютерной голографии, в то время как область аналоговой и, в частности, изобразительной голографии остается без внимания. В настоящей главе в результате глубокого анализа современной научной литературы определена ключевая проблема, сдерживающая дальнейшее развитие техники изобразительной голографии. Основным препятствием на пути применения аналоговой изобразительной голографии является недостаточное развитие технологий оцифровки информации восстановленных голографических изображений, что

усугубляется недостаточным анализом и обсуждением существующих подходов.

Первый пункт главы содержит аргументированное обоснование актуальности применения изобразительной голографии. Обсуждаются такие преимущества данного направления, как высокая информационная емкость и долговечная структура используемых носителей информации, естественное восприятие и высокое разрешение получаемых голограмм. Рассматриваются различные сферы применения изобразительной голографии — от визуального сопровождения в обучение искусствам до неразрушающего контроля объектов культуры. Далее приводится классификация объектов, используемых в изобразительной голографии. Они делятся на две большие группы: на объекты, характерные для архивного хранения в изобразительных голограммах и на объекты, характерные для средне- и краткосрочного хранения в изобразительных голограммах. Эти две большие категории, в свою очередь, подразделяются на множество других подкатегорий, указанных на Рисунках 1 и 2, соответственно.

Во втором пункте главы приводится обзор существующих подходов в направлении аналого-цифрового преобразования (АЦП) информации, содержащейся в изобразительных голограммах, независимо от классификации объектов. Среди них: фотограмметрическая оцифровка ракурсов голографических изображений, восстановленных отражательными голограммами; "Голографика" для оцифровки ракурсов голографических изображений, восстановленных отражательными голограммами при смещении источника излучения; оцифровка объемных голографических изображений с помощью голографической топо-метрии; оцифровка волнового фронта объекта с помощью методов цифровой голографии; запись света в полете с помощью голографии; оцифровка волнового фронта объекта с помощью безлинзовой цифровой голографии Фурье с синтетической апертурой; микроскопическая оцифровка дифракционной структуры внеосевой голограммы. Каждый из подходов подробно расскрывается в подпунктах данного раздела.

В третьем пункте главы приводится аналогичный обзор существующих подходов в направлении цифро-аналогового (ЦАП) информации, содержащейся в

Рисунок 1 — Примеры практического применения технологий аналого-цифрового (АЦ) и цифро-аналогового (ЦА) преобразования информации в изобразительной голографии, классифицированные по типу записываемых объектов (тип указан на вставках) [2]. Подробности см. в тексте. Фотографии (а) были любезно предоставлены проф. Вольфгангом Остеном; (б) фотографии записанных Оптоклонов™ [3]; (в) фотографии кубка УЕФА и его голограмма (из личного архива доктора Петрова Н. В.); (г) две (левое и среднее изображения) 3D модели черепов [4; 5] (CC BY 4.0), фотография (правое изображение) напечатанной модели (из личного архива автора); (д) фотография голограммы 2000-летного болотного тела (заимствовано из [6] [SPIE], с разрешения проф. доктора Дженса Бонгартца)

изобразительных голограммах. В подпунктах этого раздела описываются такие подходы как: оцифрованная голография, голографическая печать волнового поля, печать дифракционной структуры, голографическая печать стереограмм.

В четвертом пункте на основе предыдущих разделов первой главы сформирована обзорная диаграмма, отображающая все существующие техники к преобразованию информации, содержащейся в изобразительных голограммах. Она представлена на Рисунке 3. Диаграмма представляет собой совокупность выявленных подходов и процедур, используемых каждым подходом и состоящих из алгоритма "действие - объект - действие"; на диаграмме указана связь между блоками подходов и процедур. Стрелками четырех цветов обозначены

Судмед экспонаты

t

Рисунок 2 — Примеры практического применения технологий аналого-цифрового и цифров-аналогового преобразования информации в изобразительной голографии, классифицированные по типу записываемых объектов (тип указан на вставках) [2]. Подробности см. в тексте. (а) Схема формирования перспективы изображения в процессе голостереосинтеза (заимствовано из [7], СС БУ 4.0); (б) учебные слайды, демонстрирующие устройства для обучения и записи аналоговых голограмм (заимствованы из [8; 9] с разрешения авторов и лично проф. доктора Александра Эскаргуэла); (в) верхний ряд: фронтальный вид голограммы, текстурированная модель, изображение профиля лица для демонстрации возможности оцифровки и распознавания волос (заимствовано из [10] с разрешения авторов), и комбинация 3Э модели со сканом компьютерной томографии; нижний ряд: модель поверхности лица, оцифрованная с голографического портрета (левое изображение) и наложенный на нее слой текстуры в оттенках серого (правое изображение) (заимствовано из [11] с разрешения авторов (ОРС)); Два изображения из правого верхнего угла защищены лицензией БУ СС 4.0 [12]

Список литературы диссертационного исследования кандидат наук Рабош Екатерина Владимировна, 2023 год

СПИСОК ИСТОЧНИКОВ

1. Денисюк Ю.Н. Об отображении оптических свойств объекта в волновом поле рассеянного им излучения // Доклады Академии наук. Российская академия наук. 1962. Т. 144. № 6. С. 1275-1278.

2. Денисюк Ю.Н., Протас И.Р. Усовершенствованные липпмановские фотографические пластинки для регистрации стоячих световых волн // Оптика и спектроскопия. 1963. Т. 14. № 5. С. 725-728.

3. Колфилд Г. Оптическая голография. М.: Мир, 1982. Т. 2. 736 с.

4. ГОСТ Р 59321.2-2021 "Оптика и фотоника. Голография. Часть 2. Голография аналоговая. Термины и определения". [Электронный ресурс URL]. Режим доступа: https://protect.gost.ru/document1.aspx7con trol=31&baseC=6&page=2&month=11&year=2021&s earch=&id=241508, свободный, Яз. рус. (дата обращения 25.03.23).

5. Женте И., Шевцов М.К. Мобильная голографиче-ская камера для записи цветных голограмм // Оптический журнал. 2009. Т. 76. № 7. С. 30-33.

6. Сайт Музея оптики. [Электронный ресурс URL]. Режим доступа: https://optimus.itmo.ru/, свободный, Яз. рус. (дата обращения 25.03.23]).

7. Денисюк Ю.Н. Сборник избранных статей по голографии // Труды ГОИ. 1988. Т. 68. Вып. 202. С. 265.

8. Колфилд Г. Оптическая голография. М.: Мир, 1982. Т. 1. Гл. 2. С. 26-138.

9. Kogelnik H. Coupled wave theory for thick hologram gratings // The bell system technical journal. 1969. V. 48. № 9. P. 2909- 2947.

10. Кольер Р., Беркхарт К., Лин Л. Оптическая голография. М.: Мир, 1973. 672 с.

11. Кириллов Н.И. Высокоразрешающие фотоматериалы для голографии и процессы их обработки. М.: Наука, 1979. С. 16-24.

12. Захаров Ю.Н. Восстановление псевдоцветных изображений при монохромной записи голограмм Денисюка // Оптический журнал. 2009. Т. 76. № 7. С. 96-99.

REFERENCES

1. Denisyuk Yu.N. On the mapping of the optical properties of an object in the wave field of radiation scattered by it // Doklady Academii Nauk SSSR. 1962. V. 144. № 6. P. 1275-1278.

2. Denisyuk Y.N., Protas I.R. Improved lippman photographic plates for recording stationary light waves [in Russian] // Optics and Spectroscopy. 1963. V. 14. P. 381.

3. Caulfield H.J. Handbook of optical holography. New York: Academic Press, 1979. V. 2. 639 p.

4. GOST R 59321.2-2021 "Optics and photonics. Holography. Part 2. Analog holography. Terms and definitions". URL: https://protect.gost.ru/document1.aspx ?control=31&baseC=6&page=2&month=11&year=20 21&search=&id=241508 [in Russian]. (Last accessed Mar. 25, 2023).

5. Gentet Y., Shevtsov M.K. Mobile holographic camera for recording color holograms [in Russian] // Journal of Optical Technology. 2009. V. 76. № 7. P. 399-401. https://doi.org/10.1364/JOT.76.000399

6. Optical Museum. St. Petersburg. URL: https://opti-mus.itmo.ru/. [in Russian]. (Last accessed Mar. 25, 2023]).

7. Denisyuk Y.N. Collection of selected articles on holography [in Russian] // Proceedings of the Vavilov State Optical Institute. 1988. V. 68. № 202. P. 265.

8. Caulfield H.J. Handbook of optical holography. New York: Academic Press, 1979. V. 1. № 2. 639 p.

9. Kogelnik H. Coupled wave theory for thick hologram gratings // The bell system technical journal. 1969. V. 48. № 9. P. 2909-2947.

10. Collier R., Burkhart C.B., Lin L.H. Optical holography. The MIT Press, 1971. 624 p.

11. Kirillov N.I. High-resolution photographic materials for holography and methods of processing them [in Russian]. Moscow: Izdatel Nauka, 1979. P. 16-24.

12. Zakharov Y.N. Reconstructing pseudo-color images when Denisyuk holograms are recorded monochromat-ically // Journal of Optical Technology. 2009. V. 76. № 7. P. 449-451. https://doi.org/10.1364/JOT.76.000449

13. Марков В.Б., Хижняк А.И. Спектрально-угловая селективность отражающих голограмм // Письма в ЖТФ. 1996. Т. 22. № 9. С. 18-23.

14. Андреева О.В., Андреева Н.В., Кузьмина Т.Б. Плаз-монные частицы коллоидного серебра в высокоразрешающих регистрирующих средах // Оптика и спектроскопия. 2017. Т. 122. № 1. С. 58-65. https:// doi.org/10.7868/S0030403417010020

15. Усанов Ю.Е., Кособокова Н.Л., Тихомиров Г.П. Исследование зависимости дифракционной эффективности голограмм от размеров проявленных частиц серебра // Опт.-мех. пром. 1977. № 3. С. 15-18.

16. Андреева О.В., Быков Е.П., Исмагилов А.О., Pandya A., Щелканова И.Ю., Андреева Н.В. Нанопо-ристые силикатные матрицы для голографии и биомедицины // Оптика и спектроскопия. 2021. Т. 129. № 4. С. 418-426. https://doi.org/10.21883/OS.2021. 04.50769.309-20

17. Вениаминов А.В., Лашков Г.И., Ратнер О.Б., Шеле-хов Н.С., Бандюк О.В. Голографическая релаксоме-трия как метод исследования диффузионных процессов в полимерных регистрирующих средах // Оптика и спектроскопия. 1986. Т. 60. № 1. С. 142-147.

18. Gentet P., Gentet Y., Lee S.H. Ultimate 04 the new reference for ultra-realistic color holography // 2017 International Conference on Emerging Trends & Innovation in ICT (ICEI). 2017. P. 162-166. https://doi. org/10.1109/ETIICT.2017.7977030

19. Biro L.P., Vigneron J.P. Photonic nanoarchitectures in butterflies and beetles: valuable sources for bioinspiration // Laser & Photonics Reviews. 2011. V. 5. № 1. P. 27-51. https://doi.org/10.1002/lpor.200900018

20. Han Z., Niu S., Shang C., Liu Z., Ren L. Light trapping structures in wing scales of butterfly Trogonoptera brookiana // Nanoscale. 2012. V. 4. № 9. P. 2879-2883. https://doi.org/10.1039/C2NR12059C

21. Wilts B.D., Matsushita A., Arikawa K., Stavenga D.G. Spectrally tuned structural and pigmentary coloration of birdwing butterfly wing scales // Journal of the Royal Society Interface. 2015. V. 12. № 111. P. 20150717. https://doi.org/10.1098/rsif.2015.0717

22. Лесничий В.В., Петров Н.В., Черёмхин П.А. Методика измерения спектральных характеристик матричных приемников любительских и профессиональных фотокамер и их применение для задач цифровой голографии // Оптика и спектроскопия. 2013. Т. 115. № 4. С. 633-633. https://doi.org/10.7868/ S0030403413100097

23. Джеймс Т. Теория фотографического процесса. Л.: Химия, 1973. Т. 6. 576 с.

24. Рабош Е.В., Анкушин Д.А., Балбекин Н.С., Вавилова Ю.А., Тимошенкова А.М., Авдонина Е.С., Шлыкова Т.В., Петров Н.В. Построение 3D модели изображения объемной отражательной голограммы методом фотограмметрии // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 6. С. 1013-1021. https://doi. org/10.17586/2226-1494-2019-19-6-1013-1021

25. Rabosh E.V., Balbekin N.S., Petrov N.V. Analog-to-digital conversion of information archived in display holograms: I. discussion // J. Opt. Soc. Am. A. 2023. V. 40. № 4. P. B47-B56. https://doi.org/10.1364/JOSAA.478498

26. Rabosh E.V., Balbekin N.S., Timoshenkova A.M., Shlyko-va T.V., Petrov N.V. Analog-to-digital conversion of information archived in display holograms: II. photogrammet-ric digitization // J. Opt. Soc. Am. A. 2023. V. 40. № 4. P. B57-B64. https://doi.org/10.1364/JOSAA.478499

13. Markov V.B., Khizhnyak A.I. Spectral-angular selectivity of reflection holograms [in Russian] // Technical Physics Letters. 1996. V. 22. № 9. P. 18-23.

14. Andreeva O.V., Andreeva N.V., Kuzmina T.B. Plas-monic particles of colloidal silver in high-resolution recording media // Optics and Spectroscopy. 2017. V. 122. № 1. P. 52-58. https://doi.org/10.1134/ S0030400X17010027

15. Usanov Y.E., Kosobokova N.L., Tikhomirov G.P. Study of the dependence of the diffraction efficiency of holograms on the sizes of developed silver particles [in Russian] // Optical-mechanical industry. 1977. № 3. P. 15-18.

16. Andreeva O.V., Bykov E.P., Ismagilov A.O., Pandya A., Shchelkanova I.Yu., Andreeva N.V. Nanoporous silicate matrices for holography and biomedicine // Optics and Spectroscopy. 2021. V. 129. № 4. P. 431-439. https://doi.org/10.1134/S0030400X21040044

17. Veniaminov A.V., Lashkov G.I., Ratner O.B., Shelek-hov N.S., Bandyuk O.V. Holographic relaxometry as a method of studying diffusion processes in polymer recording media [in Russian] // Optics and Spectros-copy. 1986. V. 60. № 1. P. 87-91.

18. Gentet P., Gentet Y., Lee S.H. Ultimate 04 the new reference for ultra-realistic color holography // 2017 International Conference on Emerging Trends & Innovation in ICT (ICEI). 2017. P. 162-166. https://doi. org/10.1109/ETIICT.2017.7977030

19. Biro L.P., Vigneron J.P. Photonic nanoarchitectures in butterflies and beetles: valuable sources for bioinspiration // Laser & Photonics Reviews. 2011. V. 5. № 1. P. 27-51. https://doi.org/10.1002/lpor.200900018

20. Han Z., Niu S., Shang C., Liu Z., Ren L. Light trapping structures in wing scales of butterfly Trogonoptera brookiana // Nanoscale. 2012. V. 4. № 9. P. 2879-2883. https://doi.org/10.1039/C2NR12059C

21. Wilts B.D., Matsushita A., Arikawa K., Stavenga D.G. Spectrally tuned structural and pigmentary coloration of birdwing butterfly wing scales // Journal of the Royal Society Interface. 2015. V. 12. № 111. P. 20150717. https://doi.org/10.1098/rsif.2015.0717

22. Lesnichii V.V., Petrov N.V., Cheremkhin P.A. A technique of measuring spectral characteristics of detector arrays in amateur and professional photocameras and their application for problems of digital holography // Optics and Spectroscopy. 2013. V. 115. C. 557566. https://doi.org/10.1134/S0030400X13100093

23. James T.H. The theory of the photographic process. New York: Macmillan, 1966. V. 6. 576 p.

24. Rabosh E.V., Ankushin D.A., Balbekin N.S., Vavilo-va Yu.A., Timoshenkova A.M., Avdonina E.S., Shlykova T.V., Petrov N.V. Three-dimensional simulation of volume pictorial hologram by photogram-metry method [in Russian] // Sci. Tech. J. Inf. Tech-nol. Mech. Opt. 2019. V. 19. № 6. P. 1013-1021. https://doi.org/10.17586/2226-1494-2019-19-6-1013-1021

25. Rabosh E.V., Balbekin N.S., Petrov N.V. Analog-to-digital conversion of information archived in display holograms: I. discussion // J. Opt. Soc. Am. A. 2023. V. 40. № 4. P. B47-B56. https://doi.org/10.1364/JO-SAA.478498

26. Rabosh E.V., Balbekin N.S., Timoshenkova A.M., Shlyko-va, T.V., Petrov N.V. Analog-to-digital conversion of information archived in display holograms: II. Photogrammet-ric digitization // J. Opt. Soc. Am. A. 2023. V. 40. № 4. P. B57-B64. https://doi.org/10.1364/JOSAA.478499

авторы

Екатерина Владимировна Рабош — инженер, Университет ИТМО, 197101, Санкт-Петербург, Россия; Scopus ID: 57742582400, https://orcid.org/ 0000-0003-1231-1618, [e-mail]

Николай Сергеевич Балбекин — канд. физ.-мат. наук, инженер, заведующий лабораторией, Университет ИТМО, 197101, Санкт-Петербург, Россия; Scopus ID: 55782919700, https:// orcid.org/ 0000-0003-0152-6795, [e-mail] Ольга Владимировна Андреева — доктор техн. наук, доцент, Университет ИТМО, 197101, Санкт-Петербург, Россия; Scopus ID: 7006390263, https://orcid.org/0000-0003-3245-0762, olga_andreeva@mail. ru

Николай Владимирович Петров — доктор физ.-мат. наук, профессор, заведующий лабораторией, Университет ИТМО, 197101, Санкт-Петербург, Россия; Scopus ID: 7202910606, https://orcid.org/0000-0002-8866-7592, [e-mail]

authors

Ekaterina V. Rabosh — Engineer, ITMO University, 197101, Saint-Petersburg, Russia; Scopus ID: 57742582400, https:// orcid.org/ 0000-0003-1231-1618, [e-mail]

Nikolay S. Balbekin — PhD in Physics and Mathematics, Engineer, Head of the Laboratory, ITMO University, 197101, Saint-Petersburg, Russia; Scopus ID: 55782919700, https:// orcid.org/ 0000-0003-0152-6795, [e-mail] Olga V. Andreeva — Dr.Sc., Associate Professor, ITMO University, 197101, Saint-Petersburg, Russia; Scopus ID: 700 6390 2 63, https://orcid.org/0000-0003-3245-0762, olga_ [e-mail]

Nikolay V. Petrov — Dr.Sci. in Physics and Mathematics, Professor, Head of the Laboratory, ITMO University, 197101, Saint-Petersburg, Russia; Scopus ID: 7202910606, https://orcid. org/0000-0002-8866-7592, [e-mail]

Статья поступила в редакцию 20.12.2022 Одобрена после рецензирования 30.05.2023 Принята к печати 18.08.2023

The article was submitted to the editorial office 20.12.2022 Approved after review 30.05.2023 Accepted for publication 18.08.2023

APPLICATION OF PHOTOGRAMMETRY FOR DIGITIZING INFORMATION ABOUT CULTURAL HERITAGE IN THE FORM OF DISPLAY HOLOGRAMS

E. V. Rabosh*, N. S. Balbekin, A. V. Mezhenin, N. V. Petrov ITMO University, St. Petersburg, 197101, Russia Commission II, WG II/8

KEY WORDS: Photogrammetry, Digitizing, Display holography, Cultural heritage, Analog-digital conversion, 3D reconstruction.

ABSTRACT:

The aim of this article is to demonstrate the possibility of using photogrammetry as a method for documenting and digitizing data reconstructed from a display hologram. We discuss the importance of the task of digitizing information from holograms and the search for its solution, which will allow display holography to gain new distribution. Textured point clouds were obtained for the object and for its image reconstructed from the display reflective type hologram using monochromatic radiation. The requirements for the experimental setup for the digitization of the reconstructed from hologram object wavefront, as well as for the number of photographs for the hologram capturing are formulated and explained. The calculated three-dimensional models of the object and the reconstructed object wavefront were compared according to the Pearson correlation criterion. The achieved correlation value is 0.903. The results of comparison of two 3D models in the estimation of the standard deviation are given.

1. INTRODUCTION

The accelerating development of science and technology makes it possible not only to fully understand the world around us, but also to reliably preserve the knowledge and artifacts of ancient times. With the improvement of computer technology and digital optical imaging systems, methods for digitizing and storing information receive a new impetus in their development: lightsensitive CMOS matrices reach resolutions up to 150 MP (Kemper and Kemper, 2020; Sukhavasi et al., 2021), the latest laser scanners such as Light Identification Detection and Ranging (LIDAR) were made to ensure security workflow and efficient monitoring of the atmosphere, cloud storage today allows a person to store terabytes of data (Spillner et al., 2013) without using their own solid state drives. At the same time, the volume and performance are growing, and, accordingly, the frequency of use of solid-state drives. All these mentioned tools and technologies are used in a wide range of areas, this is the reason for the ever-increasing demand for systems with the ability or potential to store big data. These areas include, first of all, image processing, the gaming industry, web applications, virtual reality, streaming services, tools for complex calculations (Gama et al., 2019; Kaur et al., 2018; Mekuria et al., 2018; Puig et al., 2020), and the museum industry. As for the latter area, it is already well known that many museums around the world use interactive installations (Vaz et al., 2017), conduct online tours, and implement augmented reality (Ch'ng et al., 2019) and neural network technology to collect and store (Doulamis and Varvarigou, 2012; Lis-Gutiérrez et al., 2019; Muthanna et al., 2018) large amounts of museum content in digital format. The transfer of analog information to digital format is carried out through the use of techniques such as laser scanning (Galushkin et al., 2019), photogrammetry (Mccarthy, 2014). The latest technology is actively used, in addition to museum exhibits (Ballarin et al., 2020), in the field of restoration of memorial

* Corresponding author.

E-mail address: [e-mail] (E. Rabosh)

buildings (Pavlidis et al., 2006) and complexes, archaeological sites (Vlachos et al., 2019). Moreover, photogrammetry is more common for solving such problems since it is simpler and less expensive than laser scanning (Gerbino et al., 2004). Popularization of the cultural and historical heritage and knowledge that has been accumulated by mankind throughout its existence in a new format is carried out by integrating digital technologies into many areas of human activity, in particular, in the museum industry. All this contributes to attracting audiences of different ages and fields of activity and brings museums to a new level of development.

Until now, the museum, as a cultural center, remains a massive repository of especially valuable objects (Agostino and Arnaboldi, 2021; Latham and Simmons, 2019; Ward, 2020), which means that strict requirements are imposed on the process of archival preservation of exhibits (Belhi et al., 2019). Unfortunately, modern digital storage media are not yet very suitable for archival storage of large amounts of data. For comparison, the service life, and the number of rewriting data on hard drives are limited: up to 5-10 years and up to 1000 times, respectively (Lin and Emami, 2018; Narayanan et al., 2016). Cloud storage, in turn, cannot be a completely resilient system due to unauthorized access attempts (Balakrishnan et al., 2021; Shamshirband et al., 2020) and malicious activities. In contrast to digital instruments and their characteristics, we take as an example optical holography, namely the method of both registration a wavefront reflected by an object and reconstruction and preservation information in the form of analog reflection-type holograms.

Analog holography is a well-known method for storing large amounts of data (Collier et al., 1973), which has found its application in the field of optical information processing, optical instrumentation, interferometry, non-destructive testing of

products, and the manufacture of optical clones. In this study, we further omit the concept of analog holography and talk about display holography as one of the sections of analog holography. Display holography has found its niche in the museum field. The rapid development of display holography began when, in the late 60s. of the last century, John Asmus was one of the first to suggest recording volumetric display holograms of museum exhibits in order to demonstrate holograms outside the location of the object itself (Asmus et al., 2016). However, display holography does not have a large-scale application today since analog data carriers are being replaced by digital ones. Also in the museum industry, there is a trend towards the presentation of information in digital format and the need for appropriate information transformation technologies. These technologies should provide a detailed conversion of information about the shape of the surface, about the relief, the color of the object, and all this into a digital image of the object. To some extent, this is a creative process that requires interdisciplinary knowledge and skills. Many of the digital technologies cannot provide an image that is identical to the object itself. However, as regards display holography, the production of volume holograms is realized on light-sensitive high-resolution materials (Bruder et al., 2017; Gentet et al., 2017), the information capacity of which exceeds the capacity of most existing media. When recording holograms, the transmission of the smallest details of an object with high resolution is achieved, since the resolution of holographic photosensitive media exceeds the resolution of matrix photodetectors by 1-2 orders of magnitude. With all these advantages of display holography and holographic materials, there is a serious disadvantage. This disadvantage is associated with the lack of methods for digitizing information from holograms for the tasks of precision quantitative analysis and data processing by digital means. As a consequence, it is precisely this shortcoming that holds back today's development of display holography.

In this study, we report the application of photogrammetry as a method for digitizing an object wavefront. Progress in this area will contribute not only to the widespread use of display holography, but also to the development of new areas of application of photogrammetry.

2. OBJECT OF STUDY

On the example of a 7.7 cm high ceramic vase (Figure 1), we can analyze the possibilities and numerical results of the proposed combination of display holography and photogrammetry techniques. The object is decorated on both sides with a pattern, fragments of which are used in this study. The object is static, and the material of the vase is ideal for recording a reflection type hologram. Therefore, on the basis of the created model, which is the digital twin of the object, it is possible to analyze the quality of the output data obtained by the photogrammetry method.

3. METHODS AND INSTRUMENTS 3.1 Hologram recording

The hologram of the object was recorded according to the scheme of Yu. N. Denisyuk, a Soviet and Russian physicist who discovered to the world a method for recording three-dimensional images of an object wave front reflected from an object, according to the scheme in colliding beams (Denisyuk, 1972; Denisyuk and Sukhanov, 1970), (Figure 2).

Figure 1. The photograph of object Vase.

A diode-pumped solid-state laser was used as a radiation source (DPSS-laser) with wavelength X = 640 nm. Monochromatic highresolution photographic plates for holography (PPH-03M plates 102x127 mm manufactured by LLC TD "Slavich" (PPH-03M, n.d.)) were used as a photosensitive material. PPH-03M is a thick halide-silver composition designed for recording counter directional reflective type of holograms sensitized to radiation in the red region of the visible frequency range of the electromagnetic spectrum.

Figure 2. The schematic diagram of the recording of display holograms by the method of Yu. N. Denisyuk: 1 - laser, 2 - mirror, 3 - pinhole microlens system, 4 - photosensitive plate, 5 - object.

3.2 Digitizing process

The object and the object hologram were shot with a Canon EOS 1100D camera with a central shutter with the following characteristics: CMOS-matrix 4272*2848 pixels, lens focal length 35 mm. Figure 3 shows the photogrammetry scheme of the object, top view. The object was placed on a motorized rotation stage, the camera was set at a distance of 25 cm from the object. 40 photographs of the object were obtained with a translator rotation step of 19.75°.

Figure 4. The schematic image of hologram photogrammetry from two levels of camera height.

Figure 3. The setup of object digitization, top view.

In the case of a hologram, the photogrammetric installation is complicated by the fact that in order to accurately restore the object image without visible distortions and deformations on the hologram, it is necessary to install and fix the light source above the hologram at an angle equal to the angle of incidence of the laser radiation when recording the hologram (see Figure 2). When photographing, this limitation can contribute by adding flare to photographs. This problem has a solution, but we do not consider it in this paper.

The structure, consisting of a hologram and a light source, is stationary, and the camera moves relative to it, taking photographs in several planes (Figure 4 and 5) along the azimuthal angle. The main task of hologram photogrammetry is to obtain the maximum possible number of photographs of the recovered information from the hologram. For this object, we received 40 photographs without distortion.

Camera

Figure 5. The setup of hologram digitization, top view. 3.3 3D Modeling

The construction and processing of three-dimensional models were conducted using the Agisoft Metashape software package. The 3D model is built in four stages (Figure 6 and 7):

1) Here, the program aligns all the photograph needed to build. The program also determines the focal length, orientation, and position of the images relative to the object. As a result of the first stage, a sparse cloud is built, which includes the maximum of the found common points of the future model, based on the positions of the cameras and images (Figure 6.1).

2) A dense point cloud is built, which is the main frame of the 3D model. The depth map for each of the images is also determined here (Figure 6.2).

3) A three-dimensional polygonal model is built that repeats the shape of the object itself. This is achieved by building the generation of polygons, from which, when these triangles are combined, the surface of the model is formed (Figure 6.3).

4) Finally, texturing of the model is performed (Figure 6.4).

Figure 6. Stages of building the model from hologram: point cloud (1), dense point cloud (2), solid polygonal model (3), and textured model (4).

Figure 7. Image of one of the views of the 3D model of the object.

4. RESULTS

The analysis of the obtained 3D-models (Fig. 8 and 9) was based on comparison the surface profiles fragments. To do this, the same area on the three-dimensional object was selected for both models. This fragment is a set of recesses created during the manufacture of the vase. For fragments from the object and hologram models, 9 images were obtained for each model with the same rotation of the models. The resulting images are two intensity arrays that can be compared numerically.

Figure 8. Images of the cut fragment from the object model.

Figure 10 (f) shows the plotted graphs of two surface profiles with similar structures.

The obtained cross-sections of 3D and 3Dh models surfaces were compared according to the Pearson correlation criterion:

where zq= (qt - q) - q)2) 2, and zp = (pt-

i

P) Eî=i(Pî — P)2) 2, and Pi are i-th elements of array Q (black line on Figure 10 (f)) and array P (red line on Figure 10 (f)), correspondingly, q and p are the mean values. The correlation coefficient value (r = 0.903) indicates very high consistency of three-dimensional models, since the Chaddock Scale r is 0.900 < 0.903 < 0.999. Thus, the result obtained shows the possibility of using photogrammetry as a method of digitizing information recorded on a hologram for the purpose of further research.

Figure 10. Photographs of the object (a) and its image, reconstructed from the reflective type of hologram (b). Front views of 3D (c) and the 3Dh (d) models. The highlighted in red areas of front views (c) and (d) show the fragments along which the

surface profiles were plotted. Relief area of object for constructing cross-sections (e), and surface profile plot for both 3D and 3Dh models (f).

Next, using CloudCompare soft, we compared the polygonal mesh of the object (reference model) with the polygonal mesh of the reconstructed object front model, created from a series of photographs from the object's hologram. Model matching is

carried out automatically: the program recognizes identical points in a three-dimensional coordinate system, along which two objects under study are superimposed (Figure 11). After superimposing two clouds, QoudCompare program automatically calculates the average of the discrepancy between objects. The results of the first experiments comparing the polygonal meshes of the object and the reconstructed object front showed a high degree of correlation between the models (Fig. 12 and 13, where green indicates an exact match). The RMS value for the isolated fragments was 0.1711.

Figure 11. The stage of combining the reconstructed front model with respect to the object model (textured model).

Figure 12. View of merged models after alignment.

Figure 13. View of the merged models after texture mapping and calculation of standard deviation.

We also obtained a normal distribution (Gaussian distribution) (Figure 14) after aligning the models and calculating the standard deviation, which demonstrates the high identity of our model obtained from a series of photographs of the object front reconstructed from the hologram, relative to the reference model of the object itself.

The obtained RMS value indicates the need for a series of experiments in the future with different illumination of the hologram. Since, as we described earlier, glare (zero diffraction order) is possible in the case of photographing a hologram, this leads to a decrease in the number of photographs. As a consequence, we have a cloud of points, the number of which is much less than that of the point cloud of the reference model. This makes it difficult to match clouds and/or polygon meshes and subsequently calculate the deviation.

few» cp»A ^etSJWI/tr^orw =HH*S«|478dt>M4«L

Figure 14. Gaussian distribution plot obtained by analyzing the quality of photogrammetry results.

5. CONCLUSION

In this article, we have demonstrated the results of an experimental study based on a combination of display holography and photogrammetry methods. The method of photogrammetry of information recovered from holograms turned out to be a convenient and promising method for documenting and digitizing data. During this study, several methods were tested for comparing the results of photogrammetry. The combination yielded important results, allowing further exploration of a new field for both photogrammetry and holography. It turned out that the choice of light source significantly affects the resulting photo data, which means that in the next study this should be given more attention. The next stages of our research will be an in-depth analysis of the obtained digitized results using photogrammetry using MeshLab and Cloud Compare. The main advantage of these programs is a better understanding of the algorithms that are used in the field of data photogrammetry.

Further research in this direction will reduce the RMS discrepancy to 0.05 and less. To do this, we will refine the methodology for obtaining more high-quality photographs of the restored front.

REFERENCES

Agostino, D., Arnaboldi, M., 2021. From preservation to entertainment: Accounting for the transformation of participation in Italian state museums. Account. Hist. 26, 102-122. https://doi.org/10.1177/1032373220934893

Asmus, J.F., Guattari, G., Lazzarini, L., Musumeci, G., Wuerker, R.F., 2016. HOLOGRAPHY IN THE CONSERVATION OF STATUARY 3630. https://doi.org/10.1179/sic.1973.005

Balakrishnan, N., Rajendran, A., Pelusi, D., Ponnusamy, V., 2021. Deep Belief Network enhanced intrusion detection system to prevent security breach in the Internet of Things. Internet of Things (Netherlands) 14, 100112.

https://doi.org/10.1016/j.iot.2019.100112

Ballarin, M., Balletti, C., Vernier, P., Heritage, C., 2020. REPLICAS IN CULTURAL HERITAGE : 3D PRINTING AND THE MUSEUM EXPERIENCE XLII, 4-7.

Belhi, A., Bouras, A., Foufou, S., 2019. Towards a Hierarchical Multitask Classification Framework for Cultural Heritage. Proc. IEEE/ACS Int. Conf. Comput. Syst. Appl. AICCSA 2018-November, 1-7. https://doi.org/10.1109/AICCSA.2018.8612815

Bruder, F.K., Facke, T., Rolle, T., 2017. The chemistry and physics of Bayfol® HX film holographic photopolymer. Polymers (Basel). 9. https://doi.org/10.3390/polym9100472

Ch'ng, E., Cai, S., Leow, F.T., Zhang, T.E., 2019. Adoption and use of emerging cultural technologies in China's museums. J. Cult. Herit. 37, 170-180.

https://doi.org/10.1016/j.culher.2018.11.016

Collier, R. J., Burckhardt, C. B., Lin, L. H., 1973. Optical Holography, (1971). Transmission T (TE) ETTI Mirror Cursor Marker Spectrum M, 200.

Denisyuk, 1972. Contact us My IOPscience On the gyrogroups of Hungar This article has been downloaded from IOPscience . Please scroll down to see the full text article . View the table of contents for this issue , or go to the journal homepage for more Download details: 1095, 24-26.

https://doi.org/10.1070/RM2012v067n04ABEH0048 04

Denisyuk, Y.N., Sukhanov, V.I., 1970. Hologram recorded in a three-dimensional medium as the most perfect form of image. Sov. Phys. - Uspekhi 13, 414-415. https://doi.org/10.1070/PU1970v013n03ABEH004268

Doulamis, A., Varvarigou, T., 2012. Image analysis for artistic style identification. Emerg. Technol. Non-Destructive Test. V 71-76. https://doi.org/10.1201/b11837-14

Galushkin, A.A., Gonobobleva, S.L., Parfenov, V.A., Zhuravlev, A.A., 2019. Application of 3D Scanning for Documentation and Creation of Physical Copies of Estampages. Restaurator 40, 114. https://doi.org/10.1515/res-2018-0010

Gama, E.S., Immich, R., Bittencourt, L.F., 2019. Towards a multi-Tier fog/cloud architecture for video streaming. Proc. -11th IEEE/ACM Int. Conf. Util. Cloud Comput. Companion, UCC Companion 2018 13-14. https://doi.org/10.1109/UCC-Companion.2018.00022

Gentet, P., Gentet, Y., Lee, S., 2017. Ultimate 04 the New Reference for Ultra-Realistic Color Holography.

Gerbino, S., Martorelli, M., Renno, F., Speranza, D., 2004. Cheap photogrammetry versus expensive reserve engineering techniques in 3D model asquisition and shape reconstruction. Int. Des. Conf. - Des. 2004 6.

Kaur, R., Chana, I., Bhattacharya, J., 2018. Data deduplication techniques for efficient cloud storage management: a systematic review. J. Supercomput. 74, 2035-2085. https://doi.org/10.1007/s11227-017-2210-8

Kemper, H., Kemper, G., 2020. Sensor fusion, GIS and AI technologies for disaster management. Int. Arch. Photogramm. Remote Sens. Spat. Inf. Sci. - ISPRS Arch. 43, 1677-1683. https://doi.org/10.5194/isprs-archives-XLIII-B3-2020-1677-2020

Latham, K.F., Simmons, J.E., 2019. Whither museum studies? J. Educ. Libr. Inf. Sci. 60, 102-117. https://doi.org/10.3138/jelis.2018-0050

Lin, X., Emami, T.I.M., 2018. Fail-Slow at Scale : Evidence of Hardware Performance. ACM Trans. Storage 14, 23:1-26.

Lis-Gutiérrez, J.P., Zerda Sarmiento, Á., Viloria, A., 2019. Intellectual Property in Colombian Museums: An Application of Machine Learning, in: Intelligence Science and Big Data Engineering. Big Data and Machine Learning. Springer International Publishing, pp. 289-301.

https://doi.org/10.1007/978-3-030-36204-1_24

Mccarthy, J., 2014. Multi-image photogrammetry as a practical tool for cultural heritage survey and community engagement. J. Archaeol. Sci. 43, 175-185.

https://doi.org/10.1016/j.jas.2014.01.010

Mekuria, R., Kylili, C., Wagenaar, A., Griffioen, D., 2018. Performance assessment and improvement of the video streaming backend with cloud storage and On-the-Fly format conversion. Proc. 23th ACM Work. Pack. Video, PV 2018 3136. https://doi.org/10.1145/3210424.3210433

Muthanna, A., Ateya, A.A., Amelyanovich, A., Shpakov, M., Darya, P., Makolkina, M., 2018. AR Enabled System for Cultural Heritage Monitoring and Preservation, Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). Springer International Publishing. https://doi.org/10.1007/978-3-030-01168-0_50

Narayanan, I., Wang, D., Jeon, M., Sharma, B., Caulfield, L., Sivasubramaniam, A., Cutler, B., Liu, J., Khessib, B., Vaid, K., 2016. SSD Failures in Datacenters. Perform. Eval. Rev. 44, 407408. https://doi.org/10.1145/2896377.2901489

Pavlidis, G., Koutsoudis, A., Arnaoutoglou, F., Tsioukas, V., Chamzas, C., 2006. Methods for 3D digitization of Cultural Heritage.

Puig, A., Rodríguez, I., Arcos, J.L., Rodríguez-Aguilar, J.A., Cebrián, S., Bogdanovych, A., Morera, N., Palomo, A., Piqué, R., 2020. Lessons learned from supplementing archaeological museum exhibitions with virtual reality. Virtual Real. 24, 343358. https://doi.org/10.1007/s10055-019-00391-z

Shamshirband, S., Fathi, M., Chronopoulos, A.T., Montieri, A., Palumbo, F., Pescape, A., 2020. Computational intelligence intrusion detection techniques in mobile cloud computing environments: Review, taxonomy, and open research issues. J. Inf. Secur. Appl. 55. https://doi.org/10.1016/j.jisa.2020.102582

Spillner, J., Müller, J., Schill, A., 2013. Creating optimal cloud storage systems. Futur. Gener. Comput. Syst. 29, 1062-1072. https://doi.org/10.1016/j.future.2012.06.004

Sukhavasi, Susrutha Babu, Sukhavasi, Suparshya Babu, Elleithy, K., Abuzneid, S., Elleithy, A., 2021. Cmos image sensors in surveillance system applications. Sensors (Switzerland) 21, 152. https://doi.org/10.3390/s21020488

Vaz, R.I.F., Fernandes, P.O., Veiga, A.C.R., 2017. Interactive Technologies in Museums i, 30-53. https://doi.org/10.4018/978-1-5225-2927-9.ch002

Vlachos, M., Mathelier, R., Agrafiotis, P., Skarlatos, D., Photogrammetry, U., Photoscan, A., 2019. SOFTWARE COMPARISON FOR UNDERWATER ARCHAEOLOGICAL XLII, 1-5.

Ward, A.L., 2020. A Plan for Progress, Preservation, and Presentation at the Safety Harbor Museum and Cultural Center.

PPH-03M, n.d. http://www.tdslavich.ru/content/plastinki-fotograficheskie/. 10 January 2022

НАУЧНО-ТЕХНИЧЕСКИЙ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ ноябрь-декабрь 2019 Том 19 № 6 ISSN 2226-1494 http://ntv.itmo.ru/

SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTCS November-December 2019 Vol. 19 No 6 ISSN 2226-1494 http://ntv.itmo.ru/en/

ННМЦШШШЩеШ!ЕПГИ1Н

УДК 528.7; 069; 778.38 doi: 10.17586/2226-1494-2019-19-6-1013-1021

ПОСТРОЕНИЕ SD-МОДЕЛИ ИЗОБРАЖЕНИЯ ОБЪЕМНОЙ ОТРАЖАТЕЛЬНОЙ ГОЛОГРАММЫ МЕТОДОМ ФОТОГРАММЕТРИИ Е.В. Рабош% Д.А. Анкушин^ Н.С. Балбекин^ Ю.А. Вавилова^ А.М. Тимошенкова^ Е.С. Авдонина^ Т.В. Шлыковаb, Н.В. Петровa

a Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация

b Санкт-Петербургский государственный институт культуры, Санкт-Петербург, 191186, Российская Федерация Адрес для переписки: [e-mail] Информация о статье

Поступила в редакцию 02.09.19, принята к печати 05.10.19 Язык статьи — русский

Ссылка для цитирования: Рабош Е.В., Анкушин Д.А., Балбекин Н.С., Вавилова Ю.А., Тимошенкова А.М., Авдонина Е.С., Шлыкова Т.В., Петров Н.В. Построение 3Б-модели изображения объемной отражательной голограммы методом фотограмметрии // Научно-технический вестник информационных технологий, механики и оптики. 2019. Т. 19. № 6. С. 1013-1021. doi: 10.17586/2226-1494-2019-19-6-1013-1021

Аннотация

Предмет исследования. Рассмотрена возможность оцифровки изобразительных голограмм с целью обеспечения возможности их хранения и обработки с использованием цифровых технологий. Впервые предложен метод использования фотограмметрической технологии для построения цифровых изображений с голограмм. Обсуждены перспективы получения цифровой копии при помощи серии фотографий и программного пакета обработки. Метод. Для эксперимента выбран объект в виде керамической скульптуры высотой 89 мм. Записаны две изобразительные голограммы скульптуры с тыльной и лицевой сторон при помощи He-Ne-лазера на длине волны X = 633 нм, мощностью P = 50 мВт; длительностью записи 90 с. Выполнена фотосъемка самого объекта при его вращении вокруг своей оси с шагом в 1,8°. Для фотосъемки выбран фотоаппарат Canon EOS 1100D с разрешением 4,2 х 2,9 Мп (12,2 Мп). Получена серия из 300 фотографий. Для восстановления зарегистрированных на объемных монохромных голограммах изображений использован точечный источник белого рассеянного света, расположенный под углом 45° относительно нормали к пластине. Получено 90 фотографий каждой голограммы при охвате области угла 120°. Фотосъемка скульптуры и голограмм производилась вокруг объекта под углами 0 и 45°. В качестве программного пакета обработки серии фотографий применена программа Agisoft PhotoScan (версия 1.4.5). Объем обработанных файлов составил около 4,5 ГБ. Основные результаты. Приведены результаты восстановления 3D-модели из двух голограмм одного и того же объекта. Проведен сравнительный анализ полученных 3D-моделей изображения. Показано, что построенная фотограмметрическим методом объемная модель голограммы имеет визуальное отличие от модели самого объекта. Повышение качества 3D-модели возможно при увеличении количества записанных фазовых голограмм одного и того же объекта с разных ракурсов. Практическая значимость. Предложенный метод оцифровки голограмм с применением технологии фотограмметрии может найти применение для решения задач по долгосрочному хранению информации об объектах культурного наследия. Ключевые слова

изобразительная голография, фотограмметрия, цифровизация голограмм, культурное наследие, сохранение культурного

наследия

Благодарности

Авторы выражают благодарность сотрудникам кафедры реставрации и экспертизы объектов культуры Санкт-Петербургского государственного института культуры Т.В. Шлыковой и А.М. Тимошенковой за предоставление оригинальных объектов для исследований и за активное участие в проведении экспериментов и в обсуждении результатов. Работа выполнена в рамках научного проекта № 3.1893.2017/4.6, выполняемого коллективами научных лабораторий образовательных организаций высшего образования, подведомственных Министерству образования и науки Российской Федерации.

doi: 10.17586/2226-1494-2019-19-6-1013-1021

THREE-DIMENSIONAL SIMULATION OF VOLUME PICTORIAL HOLOGRAM BY PHOTOGRAMMETRY METHOD

E.V. Rabosha, D.A. Ankushina, N.S. Balbekina, Yu.A. Vavilovaa, A.M. Timoshenkovab, E.S. Avdoninaa, T.V. Shlykovab, N.V. Petrova

a ITMO University, Saint Petersburg, 197101, Russian Federation

b Saint Petersburg State University of Culture and Arts, Saint Petersburg, 191186, Russian Federation Corresponding author: [e-mail] Article info

Received 02.09.19, accepted 05.10.19 Article in Russian

For citation: Rabosh E.V., Ankushin D.A., Balbekin N.S., Vavilova Yu.A., Timoshenkova A.M., Avdonina E.S., Shlykova T.V, Petrov N.V. Three-dimensional simulation of volume pictorial hologram by photogrammetry method. Scientific and Technical Journal oof Information Technologies, Mechanics and Optics, 2019, vol. 19, no. 6, pp. 1013-1021 (in Russian). doi: 10.17586/2226-1494-2019-19-6-1013-1021

Abstract

Subject of Research. The digitizing possibility for pictorial holograms is considered aimed at their storage and processing with the use of digital technologies. A novel method is proposed for application of photogrammetric technology with the view to create digital images from holograms. The prospects of obtaining a digital copy are discussed by applying a series of photographs and processing software package. Method. The ceramic sculpture with 89 mm height was chosen as an object for the experiment. Two pictorial sculpture holograms were recorded from the back and front sides by He-Ne laser at the wavelength X = 633 nm with the power P = 50 mW for 90 seconds. A photograph of the object was taken as it rotates around its axis with a step of 1.8°. The Canon EOS 1100D camera with a resolution of 12.2 million pixels was selected for photography. A series of 300 photos was performed. For recovery of images registered on volume monochrome holograms, a point source of white scattered light was used inclined at an angle of 45° to the normal of the plate. Ninety photos of each hologram were obtained with an angle area coverage of 120°. The sculpture and holograms were photographed around the object at the angles equal to 0 and 45°. Agisoft PhotoScan (version 1.4.5) software was used as a processing software package for a series of photographs. The volume of the processed files was about 4.5 GB. Main Results. The results of a 3D model restoration from two holograms of the same object are presented. Comparative analysis of the obtained 3D-models of the image is carried out. It is shown that the hologram volume model created by photogrammetric method has a visual difference from the model of the object itself. The 3D model quality improvement depends on increasing the number of recorded phase holograms of the same object from different angles. Practical Relevance. The proposed digitizing method for the holograms through the use of photogrammetry technology can find practical application for solving problems in the field of long-term storage of information about cultural heritage sites. Keywords

pictorial holography, photogrammetry, hologram digitization, cultural heritage, cultural heritage preservation

Acknowledgements

The authors express their gratitude to Shlykova T.V. and Timoshenkova A.M., the colleagues of the Department of Restoration and Examination of Cultural Objects (Saint Petersburg State University of Culture and Arts) for submitting the unique items and an active participation in the experiments and fruitful discussions.

This work was carried out as part of the scientific project No. 3.1893.2017 / 4.6 by scientific teams of scientific laboratories of educational institutions of higher education, subordinate to the Ministry of Education and Science of the Russian Federation.

Введение

Современный мир характеризуется увеличением количества объектов, созданных или сохраненных посредством цифровых технологий в различных отраслях нашей жизни. Стремительное развитие науки, появление новых техник и технологий сегодня оказывают влияние на всевозможные сферы деятельности человека. Не остаются без внимания и гуманитарные направления, в частности, исторические науки, такие как археология и музееведение, а также тема культурного досуга. Тенденция глобальной цифровизации изменяет восприятие музеев во всем мире: интерактивные инсталляции [1, 2], виртуальная реальность [3], искусственный интеллект и пр. Цифровое искусство и взаимодействие с ним в галереях и музеях привлекают большую публику разных возрастов. Однако музеи — это прежде всего кладовая уникальных экспонатов, сохраненных или найденных на раскопках, исторических драгоценностей, преимущественно представленных в единственных экземплярах. Любые памятники с течением времени разрушаются, и процесс износа объектов культурного наследия вследствие влияния факторов окружающей среды имеет ускоренный характер [4, 5]. Основными причинами являются: ухудшение экологической обстановки, техногенные катастрофы, а также существование факта негативного человеческого отношения к памятникам (похищение, акты вандализма и пр.) — все это отрицательно сказывается на времени жизни объектов культурного наследия. Поэтому в так называемую электронную эпоху помимо накопления, обработки и передачи информации, особенно остро стоит вопрос эффективного хранения исторических объектов и информации о них. Хотя ведение высокоточного контроля входит в обязательные задачи музейной работы и реставрационного дела, до сих пор нет устоявшегося регламента реставрационного процесса. Например, художник-реставратор, принимая в работу произведения изобразительного искусства, как правило, не имеет полной реставрационной документации,

либо получает разнородные, бессистемные сведения о состоянии целостности объекта [6]. Чтобы сохранить объекты культурного наследия для последующих поколений и максимально уберечь их от негативного воздействия, применяются в первую очередь классические методы, такие как описание и анализ, зарисовка, фотофиксация и картография. Однако они не являются исчерпывающими и малоэффективны [7, 8]. Поэтому целью нашей работы было продемонстрировать возможность использования изобразительной голографии и фотограмметрии в качестве существенного и эффективного дополнения к методам, применяемым для сохранения информации об объектах культурного наследия.

Среди компьютерных техник, осуществляющих мониторинг качества и сохранности объектов, особенно выделяется сегодня лазерное 3Б-сканирование [9, 10]. Эта технология помогает вести документацию о состоянии архитектурных сооружений и объектов в картографии на высоком уровне. В области геодезии и архитектуры также хорошо известна другая техника — фотограмметрия, появившаяся практически одновременно с фотографией. Этот метод применяется в построении трасс и дорог [11], линий электропередач, для задач исследования микрорельефа, микроскопии [12]. Фотограмметрия по серии снимков позволяет строить 3Б-модели исследуемых объектов и определять форму, габариты и положения объектов в пространстве. Также следует отметить распространение данной технологии в области реставрации памятников архитектуры и уникальных предметов [13-15].

Отдельно фотография как техника не способна передать полную фиксацию свойств предмета и его точные размеры, поэтому в качестве существенного и необходимого дополнения к классическим методам сохранения информации об объектах культурного наследия может применяться изобразительная голография. Эту технологию можно использовать для создания объемных изображений сокровищ истории. В сфере музейного дела изобразительная голография и лазерная реставрация появились благодаря работам пионера в этой области Дж. Асмуса, который записывал памятники г. Венеции [16, 17]. С изобретением метода изобразительной голографии Ю.Н. Денисюком (рис. 1) стало возможным активно внедрять данную технику для получения оптических копий музейных экспонатов с последующим восстановлением изображений при помощи белого света.

Рис. 1. Принципиальная схема записи изобразительных голограмм по методу Ю.Н. Денисюка: 1 — лазер, 2 — зеркало, 3 — система микрообъектив-пинхол, 4 — фоточувствительная пластина, 5 — объект

Важными достоинствами голограмм являются: информационная емкость, превосходящая на несколько порядков емкость дисплеев и фотографий [18, 19], долговечность (превышающая время жизни фотографий), передача детальности свойств и характеристик объекта. Однако на сегодняшний день изобразительная голография еще не получила широкого распространения ввиду сложного и многостадийного процесса записи, что в свою очередь обусловливает их внушительную себестоимость. Изобразительная голография является самостоятельным жанром декоративно-прикладного искусства [20, 21], и, следовательно, нуждается в обеспечении сохранения, защиты, эффективной и безопасной передачи содержащейся в ней информации. К примеру, транспортировка голограмм (особенно широкоформатных) связана с риском механических повреждений и нарушения целостности эмульсионного слоя.

В качестве решения вышеупомянутой проблемы предложено использовать вместо изобразительной голограммы 3Б-модель объекта, информация о котором содержится в голограмме (3БЬ-модель), полученной посредством фотограмметрии. Распространение цифровой фотограмметрии, связанное с массовым переходом на компьютерные технологии в 1990-е годы, ведет к расширению границ применения данных техник. Однако до сих пор этот метод не применялся для оцифровки изобразительных голограмм, поэтому

Экспериментальное исследование алгоритмов фотограмметрии

объединение изобразительной голографии и фотограмметрии может стать решением проблемы по точной фиксации информации, содержащейся в голограммах, и их безопасной «транспортировки». Разработка подобных технологий может стать весьма перспективной задачей ввиду современных возможностей оптической физики и компьютерных технологий.

Фотограмметрия объекта. Для создания объемных моделей применялся программный пакет Agisoft Photoscan, который использует технологию быстрого преобразования цифровых фотографий в 3Б-модель методом триангуляции на основе облачных вычислений. Для корректного построения модели необходимо предъявлять жесткие требования к фотосъемке, в частности, к сохранению фиксированного фокусного расстояния используемой оптики.

Работа в программном пакете осуществляется в три этапа: первый этап — выравнивание фотографий. На данном этапе происходит поиск общих точек на фотографиях и построение разреженного облака точек. Далее происходит привязка модели в требуемой системе координат и оптимизация (строгое уравнивание параметров ориентирования снимков). Точечная модель формируется на втором этапе построения плотного облака. Здесь выполняется повторный поиск общих точек и определение их положения. Поскольку параметры взаимного ориентирования снимков уже известны с высокой точностью, представляется возможным сузить область поиска общих точек и гарантировать достоверность определения их соответствия. Плотность результирующего облака точек при этом оказывается достаточно высокой - в наиболее детальном режиме построения плотного облака анализируется буквально каждый пиксель исходных фотографий, и для всех пикселей определяется положение соответствующих им точек на местности. Заключительный этап — создание полигональной модели фильтрацией и триангулированием плотного облака точек.

Апробация предложенного метода проводилась с использованием керамической статуэтки высотой 89 мм. Для этого статуэтка устанавливалась на моторизированный поворотный транслятор, а камера фиксировалась на расстоянии 25 см от объекта исследования (схема фотосъемки приведена на рис. 2). Была получена серия из 300 снимков, выполненных с разных ракурсов с шагом поворота транслятора в 1,8°. После импорта фотографий программный пакет выполнял расчет модели по алгоритму, описанному выше. Результат представлен на рис. 3.

Камера

Рис. 2. Схема установки для съемки объекта

Фотограмметрия голограммы. На следующем этапе эксперимента была проведена регистрация двух монохромных отражательных голограмм по методу Ю.Н. Денисюка. Для записи использовался Не-№-лазер (X = 633 нм, P = 50 мВт). На галогенсеребряных фоточувствительных пластинах ПФГ-03М размером 102 х 127 мм были записаны две голограммы статуэтки — с лицевой и с тыльной стороны — чтобы при фотосъемке и последующей обработке можно было получить объемную модель, рассматриваемую со всех сторон. Запись голограмм осуществлялась в течение 90 с.

Фотосъемка голограммы велась по отличной от первого этапа схеме (фотосъемка объекта): голограмма устанавливалась стационарно на расстоянии 25 см от источника освещения, фотоаппарат с фиксированным фокусным расстоянием перемещался по дуге (рис. 4). Было получено 90 фотографий каждой голограммы при охвате области в 120° (угол обзора используемой голограммы).

Запись фотографий как объекта, так и голограммы, производилась с максимальным заполнением кадра объектом и вокруг объекта под углами 0° и 45° относительно плоскости рабочей поверхности (рис. 5).

На рис. 6, 7 приведены фотографии исследуемых голограмм, где отчетливо видны мелкие детали рельефа объекта, зарегистрированного на монохромную голограмму. Результаты построения 3БЬ-моделей представлены на рис. 8.

а б

Рис. 3. Фотографии керамической статуэтки под углами 45° (а) и 0° (б) Голограмма

ч /

Камера

Рис. 4. Схема установки для съемки изображения, зарегистрированного на объемной отражательной голограмме

Рис. 5. Схематичное изображение процесса съемки

** '

Рис. 7. Фотографии голограммы тыльной стороны статуэтки (а) и под углом 0° (б)

Обсуждение результатов

На финальном этапе работ построены и проанализированы две 3БЬ-модели объекта (с лицевой и тыльной сторон). При сравнении моделей 3Б и 3БЬ заметна разница в цвете. Модель объекта соответствует истине: голубой цвет, белые следы воздействий в виде царапин и пр. (рис. 8, а). 3БЬ-модель в свою очередь имеет бронзовый оттенок, что объясняется использованием монохромного излучения (X = 633 нм) для записи

голограммы и не отражает следов внешнего воздействия (рис. 8, б, в). По форме модель объекта также соответствует самой скульптуре, в то время как обе ЗОЬ-модели представляют собой поверхности. Построить полноценную ЗО-модель с использованием двух голограмм не представляется возможным, поскольку на процесс расчета высокоточной модели существенно влияет равномерное освещение объекта. Рельеф поверхности модели статуэтки коррелирует с объектом, но рельеф ЗОИ-модели искажен из-за относительной деформации изображения на границах угла обзора.

а б в

Рис. 8. ЗО-модель керамической статуэтки (а), ЗОЬ-модели лицевой (б) и тыльной стороны голограммы (в)

Очевидно, что двух голограмм с углом обзора 120° недостаточно для построения точной ЗО-модели объекта с применением техник фотограмметрии голограммы. В дальнейших исследованиях будут проработаны варианты с тремя и/или четырьмя монохромными голограммами, варьированием источников излучения для освещения голограмм и их расположением. Также будут записаны полноцветные голограммы для исследования цветопередачи при построении ЗОИ-модели.

Заключение

В результате эксперимента были построены ЗО-модели объекта и изображения, информация о котором содержится в голограмме (ЗОЬ-модель). Оцифровка изобразительных отражательных голограмм является новым применением техник фотограмметрии. С научной точки зрения интерес вызывает проведение сравнительного анализа с целью адаптации фотограмметрических техник для достижения соответствия ЗО- и ЗОЬ-моделей. Выявление визуальных различий, таких как цветопередача и детализация моделей формирует дальнейшие задачи для качественной оцифровки голограмм. Таким образом, в последующих работах планируется восстанавливать модель из трех-четырех голограмм одного и того же объекта, записанных с различных ракурсов, для получения наивысшей детализации ЗОЬ-модели.

Использование метода фотограмметрии применительно к голографии для получения ЗО-моделей объектов, имеющих историческую ценность, возможно, но требует существенных доработок.

Литература

1. Huang H., Lo W.H., Ng K.H., Brailsford T., O'Malley C. Enhancing reflective learning experiences in museums through interactive installations // Proc. 13th International Conference of the Learning Sciences, ICLS 2018: Rethinking Learning in the Digital Age: Making the Learning Sciences Count. Volume 2. 2018. P. 776-783.

2. Koutsabasis P., Vosinakis S. Kinesthetic interactions in museums: conveying cultural heritage by making use of ancient tools and (re-) constructing artworks // Virtual Reality. 2018. V. 22. N 2. P. 103-118. doi: 10.1007/s10055-017-0325-0

3. Jung T.H., tom Dieck M.C. Augmented reality, virtual reality and 3D printing for the co-creation of value for the visitor experience at cultural heritage places // Journal of Place Management and Development. 2017. V. 10. N 2. P. 140-151. doi: 10.1108/JPMD-07-2016-0045

4. Agapiou A., Alexakis D.D., Lysandrou V., Sarris A., Cuca B., Themistocleous K., Hadjimitsis D.G. Impact of urban sprawl to

References

1. Huang H., Lo W.H., Ng K.H., Brailsford T., O'Malley C. Enhancing reflective learning experiences in museums through interactive installations. Proc. 13th International Conference of the Learning Sciences, ICLS 2018: Rethinking Learning in the Digital Age: Making the Learning Sciences Count. Volume 2, 2018, pp. 776-783.

2. Koutsabasis P., Vosinakis S. Kinesthetic interactions in museums: conveying cultural heritage by making use of ancient tools and (re-) constructing artworks. Virtual Reality, 2018, vol. 22, no. 2, pp. 103-118. doi: 10.1007/s10055-017-0325-0

3. Jung T.H., tom Dieck M.C. Augmented reality, virtual reality and 3D printing for the co-creation of value for the visitor experience at cultural heritage places. Journal of Place Management and Development, 2017, vol. 10, no. 2, pp. 140-151. doi: 10.1108/JPMD-07-2016-0045

4. Agapiou A., Alexakis D.D., Lysandrou V., Sarris A., Cuca B., Themistocleous K., Hadjimitsis D.G. Impact of urban sprawl to

cultural heritage monuments: The case study of Paphos area in Cyprus // Journal of Cultural Heritage. 2015. V. 16. N 5. P. 671680. doi: 10.1016/j.culher.2014.12.006

5. Чулин А.В., Парфенов В.А. Использование лазерных технологий для реставрации металлических объектов истории и культуры // Оптический журнал. 2007. Т. 74. № 8. С. 56-60.

6. Яблоков А.Л. Графика в паспорте реставрации памятника средневековой живописи // Художественное наследие Сборник научных трудов. Внеочередной выпуск. ВНИИР М. 1989. С. 126-133.

7. Фирсова О., Шестопалова Л. Спасая шедевры // Наука в России. 2008. № 1. С. 78-84.

8. Большакова Н.А., Шлыкова Т.В. О различных подходах к реставрации памятников античной керамики и европейского фарфора на примере ваз «Огонь» и «Земля» из серии И.И. Кендлера «Четыре стихии» // Труды Исторического факультета Санкт-Петербургского университета. 2015. № 22. С. 114-121.

9. Fontana R., Gambino M.C., Greco M., Pampaloni E., Pezzati L., Scopigno R. High-resolution 3D digital models of artworks // Proceedings of SPIE. 2003. V. 5146. P. 34^3. doi: 10.1117/12.501248

10. Boochs F., Huxhagen U., Kraus K. Potential of high-precision measuring techniques for the monitoring of surfaces from heritage objects // Proc. International Workshop SMW08, Sesto Fiorentiono (FI), Italy. 2008. P. 87-96.

11. Neukum G., Jaumann R., Scholten F., Gwinner K. The high resolution stereo camera (HRSC): acquisition of multi-spectral 3D-data and photogrammetric processing // Proceedings of SPIE. 2017. V. 10569. P. 1056921. doi: 10.1117/12.2307899

12. Gontard L.C., López-Castro J.D., González-Rovira L., Vázquez-Martínez J.M., Varela-Feria F.M., Marcos M., Calvino J.J. Assessment of engineered surfaces roughness by high-resolution 3D SEM photogrammetry // Ultramicroscopy. 2017. V. 177. P. 106-114. doi: 10.1016/j.ultramic.2017.03.007

13. Balletti C., Ballarin M., Vernier P. Replicas in cultural heritage: 3D printing and the museum experience // International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences. 2018. V. 42. N 2. P. 55-65. doi: 10.5194/isprs-archives-XLII-2-55-2018

14. Balletti C., Ballarin M. An application of integrated 3D technologies for replicas in cultural heritage // ISPRS International Journal of Geo-Information. 2019. V. 8. N 6. P. 285. doi: 10.3390/ijgi8060285

15. Portalés C., Lerma J.L., Pérez C. Photogrammetry and augmented reality for cultural heritage applications // Photogrammetric Record. 2009. V. 24. N 128. P. 316-331. doi: 10.1111/j.1477-9730.2009.00549.x

16. Asmus J.F., Guattari G., Lazzarini L., Musumeci G., Wuerker R.F. Holography in the conservation of statuary // Studies in Conservation. 1973. V. 18. N 2. P. 49-63. doi: 10.1179/sic.1973.005

17. Asmus J.F. Light for art conservation // Interdisciplinary Science Reviews. 1987. V. 12. N 2. P. 171-179. doi: 10.1179/isr.1987.12.2.171

18. Соскин С.И., Шойдин С.А. Расчет оптической системы го-лографического запоминающего устройства // Оптика и спектроскопия. 1978. Т. 44. № 3. С. 566-573.

19. Li X., Chen L., Li Y., Zhang X., Pu M., Zhao Z., Ma X., Wang Y., Hong M., Luo X. Multicolor 3D meta-holography by broadband plasmonic modulation // Science advances. 2016. V. 2. N 11. P. 1601102. doi: 10.1126/sciadv.1601102

20. Задумина О.С. Экспонирование цифровых копий в музее // Молодежный вестник Санкт-Петербургского государственного института культуры. 2018. № 1. С. 102-104.

21. Денисюк Ю.Н., Суханов В.И. Голограмма с записью в трехмерной среде как наиболее совершенная форма изображения // Успехи физических наук. 1970. Т. 101. № 6. С. 337-338. doi: 10.3367/UFNr.0101.197006h.0337

cultural heritage monuments: The case study of Paphos area in Cyprus. Journal of Cultural Heritage, 2015, vol. 16, no. 5, pp. 671-680. doi: 10.1016/j.culher.2014.12.006

5. Chulin A.V., Parfenov V.A. Using laser technologies for the restoration of metallic objects of history and culture. Journal of Optical Technology, 2007, vol. 74, no. 8, pp. 555-559. doi: 10.1364/J0T.74.000555

6. Iablokov A.L. Graphics in the restoration certificate of the medieval painting artifact. Artistic heritage. Collection of scientific papers, Moscow, 1989, pp. 126-133. (in Russian)

7. Firsova O., Shestopalova L. Saving masterpieces. Science in Russia, 2008, no. 1, pp. 78-84. (in Russian)

8. Bolshakova N.A., Shlykova T.V. On Diverse Conservation Approaches to Ancient Ceramics and European Porcelain as Exemplified in the Case of Vases «The Fire» and «The Earth» from the «Four Elements» Series by I.I. Kandler. Trudy Istoricheskogo fakul'teta Sankt-Peterburgskogo universiteta, 2015, no. 22, pp. 114-121. (in Russian)

9. Fontana R., Gambino M.C., Greco M., Pampaloni E., Pezzati L., Scopigno R. High-resolution 3D digital models of artworks. Proceedings of SPIE, 2003, vol. 5146, pp. 34-43. doi: 10.1117/12.501248

10. Boochs F., Huxhagen U., Kraus K. Potential of high-precision measuring techniques for the monitoring of surfaces from heritage objects. Proc. International Workshop SMW08, Sesto Fiorentiono (FI), Italy, 2008, pp. 87-96.

11. Neukum G., Jaumann R., Scholten F., Gwinner K. The high resolution stereo camera (HRSC): acquisition of multi-spectral 3D-data and photogrammetric processing. Proceedings of SPIE, 2017, vol. 10569, pp. 1056921. doi: 10.1117/12.2307899

12. Gontard L.C., López-Castro J.D., González-Rovira L., Vázquez-Martínez J.M., Varela-Feria F.M., Marcos M., Calvino J.J. Assessment of engineered surfaces roughness by high-resolution 3D SEM photogrammetry. Ultramicroscopy, 2017, vol. 177, pp. 106-114. doi: 10.1016/j.ultramic.2017.03.007

13. Balletti C., Ballarin M., Vernier P. Replicas in cultural heritage: 3D printing and the museum experience. International Archives oof the Photogrammetry, Remote Sensing & Spatial Information Sciences, 2018, vol. 42, no. 2, pp. 55-65. doi: 10.5194/isprs-archives-XLII-2-55-2018

14. Balletti C., Ballarin M. An application of integrated 3D technologies for replicas in cultural heritage. ISPRS International Journal oof Geo-Information, 2019, vol. 8, no. 6, pp. 285. doi: 10.3390/ijgi8060285

15. Portalés C., Lerma J.L., Pérez C. Photogrammetry and augmented reality for cultural heritage applications. Photogrammetric Record, 2009, vol. 24, no. 128, pp. 316-331. doi: 10.1111/j.1477-9730.2009.00549.x

16. Asmus J.F., Guattari G., Lazzarini L., Musumeci G., Wuerker R.F. Holography in the conservation of statuary. Studies in Conservation, 1973, vol. 18, no. 2, pp. 49-63. doi: 10.1179/sic.1973.005

17. Asmus J.F. Light for art conservation. Interdisciplinary Science Reviews, 1987, vol. 12, no. 2, pp. 171-179. doi: 10.1179/isr.1987.12.2.171

18. Soskin S.I., Shoidin S.A. Holographic memory optical system calculation. Optics and Spectroscopy, 1978, vol. 44, no. 3, pp. 566-573. (in Russian)

19. Li X., Chen L., Li Y., Zhang X., Pu M., Zhao Z., Ma X., Wang Y., Hong M., Luo X. Multicolor 3D meta-holography by broadband plasmonic modulation. Science advances, 2016, vol. 2, no. 11, pp. 1601102. doi: 10.1126/sciadv.1601102

20. Zadumina O.S. Digital reproduction exhibiting in the museum. Molodezhnyj vestnik Sankt-Peterburgskogo gosudarstvennogo instituta kul'tury, 2018, no. 1, pp. 102-104. (in Russian)

21. Denisyuk Y.N., Sukhanov V.I. Hologram recorded in a three-dimensional medium as the most perfect form of image. Soviet Physics - Uspekhi, 1970, vol. 13, no. 3, pp. 414-415. doi: 10.1070/PU1970v013n03ABEH004268

Авторы

Рабош Екатерина Владимировна — аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, ORCID ГО: 0000-0003-1231-1618, [e-mail]

Authors

Ekaterina V. Rabosh — Postgraduate, ITMO University, Saint Petersburg, 197101, Russian Federation, ORCID ID: 0000-0003-1231-1618, [e-mail]

Анкушин Даниил Андреевич — студент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, ORCID ID: 0000-0002-8938-4500, [e-mail] Балбекин Николай Сергеевич — кандидат физико-математических наук, заведующий лабораторией, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, Scopus ID: 55782919700, ORCID ID: 0000-0003-0152-6795, [e-mail]

Вавилова Юлия Александровна — ведущий инженер, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, ORCID ID: 0000-0001-8610-9530, Vavilova_j ulia@mail .ru

Тимошенкова Анастасия Максимовна — студент, Санкт-Петербургский государственный институт культуры, Санкт-Петербург, 191186, Российская Федерация, ORCID ID: 0000-0002-6229-7482, [e-mail] Авдонина Екатерина Сергеевна — кандидат экономических наук, инженер, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, ORCID ID: 0000-0001-7222-6541, [e-mail]

Шлыкова Татьяна Викторовна — кандидат искусствоведения, старший преподаватель, Санкт-Петербургский государственный институт культуры, Санкт-Петербург, 191186, Российская Федерация, ORCID ID: 0000-0002-1183-9480, [e-mail]

Петров Николай Владимирович — кандидат физико-математических наук, доцент, ведущий научный сотрудник, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, Scopus ID: 7202910606, ORCID ID: 0000-0002-8866-7592, [e-mail]

Daniil A. Ankushin — Student, ITMO University, Saint Petersburg, 197101, Russian Federation, ORCID ID: 0000-0002-8938-4500, [e-mail]

Nikolay S. Balbekin — PhD, Laboratory Head, ITMO University, Saint Petersburg, 197101, Russian Federation, Scopus ID: 55782919700, ORCID ID: 0000-0003-0152-6795, nbalbekin@ niuitmo.ru

Yulia A. Vavilova — Leading Engineer, ITMO University, Saint Petersburg, 197101, Russian Federation, ORCID ID: 0000-0001-8610-9530, [e-mail] Anastasiya M. Timoshenkova — Student, Saint Petersburg State University of Culture and Arts, Saint Petersburg, 191186, Russian Federation, ORCID ID: 0000-0002-6229-7482, [e-mail]

Ekaterina S. Avdonina — PhD, Engineer, ITMO University, Saint Petersburg, 197101, Russian Federation, ORCID ID: 0000-0001-7222-6541, [e-mail]

Tatiana V. Shlykova — PhD, Senior Lecturer, Saint Petersburg State University of Culture and Arts, Saint Petersburg, 191186, Russian Federation, ORCID ID: 0000-0002-1183-9480, [e-mail]

Nikolay V. Petrov — PhD, Associate Professor, Leading Scientific Researcher, ITMO University, Saint Petersburg, 197101, Russian Federation, Scopus ID: 7202910606, ORCID ID: 0000-0002-8866-7592, [e-mail]