Интеллектуальные алгоритмы формирования карт и моделей местности для производства составных частей бортовых дисплеев гражданской авиации тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Акинина Наталья Викторовна

• Акинина Наталья Викторовна
• кандидат наук
• 2018

Оглавление диссертации кандидат наук Акинина Наталья Викторовна

Введение

1 Исследование математической модели процесса распознавания образов

1.1 Информационная модель процесса построения карт местности

и распознавания образов на изображении

1.2 Оценка качества формирования ЦКМ по данным ДЗЗ

1.3 Постановка задачи

1.4 Основные результаты

2 Разработка алгоритма распознавания образов на данных ДЗЗ, основанного на применении древовидного нейросете-вого классификатора

2.1 Алгоритм выделения образов на изображении, основанный на применении алгоритма нечетких е-средних

2.1.1 Общая схема алгоритма

2.1.2 Алгоритм нечетких е-средних

2.2 Классификация образов на изображении с применением древовидного нейросетевого классификатора

2.2.1 Алгоритмы классификации выделенных образов

2.2.2 Структура классификатора

2.2.3 Нейронная сеть прямого распространения без обратных

связей

2.3 Основные результаты

3 Разработка алгоритмов описания пространства признаков образов изображений с целью усовершенствования алгоритма распознавания образов на данных ДЗЗ

3.1 Способы формирования векторов признаков образов, выделенных на изображении

3.2 Алгоритм описания пространства признаков образов, выделенных на изображении, с применением текстурных признаков Ха-ралика и нейронной сети, реализующей метод анализа главных компонент

3.2.1 Формирование векторов признаков образов с применением текстурных признаков Харалика

3.2.2 Понижение размерности векторного пространства признаков образов с помощью нейронной сети, реализующей метод анализа главных компонент

3.3 Алгоритм описания пространства признаков образов, выделенных на изображении, с применением энергетических текстурных характеристик Лавса и автоэнкодера

3.3.1 Формирование векторов признаков образов с применением энергетических характеристик Лавса

3.3.2 Понижение размерности векторного пространства признаков образов с помощью автоэнкодера

3.4 Сравнение разработанных алгоритмов описания пространства признаков образов

3.5 Основные результаты

4 Экспериментальные исследования разработанных алгоритмов распознавания образов на данных ДЗЗ

4.1 Описание программного комплекса

4.2 Порядок проведения экспериментального исследования

4.2.1 Цели экспериментального исследования

4.2.2 Условия поведения экспериментального исследования

4.2.3 Входные и выходные параметры экспериментального исследования

4.2.4 План проведения экспериментальных исследований

4.3 Результат экспериментального исследования

4.3.1 Методика анализа результатов экспериментального исследования

4.3.2 Результаты экспериментального исследования

4.3.3 Демонстрация результатов экспериментального исследования

4.4 Основные результаты

Заключение

Литература

Приложения

А Свидетельства о государственной регистрации программ для ЭВМ

Б Внедрение результатов работы в производство

Обозначения и сокращения

• B - (англ.) blue, синий спектральный канал (длина волны около 450 -515 нм.);

• ETM + - (англ.) enhanced thematic mapper plus, расширенный тематический картограф плюс (камера КА «LandSat - 7»);

• FCM - (англ.) fuzzy c-means, алгоритм нечетких с-средних;

• G - (англ.) green, зеленый спектральный канал (длина волны около 525 - 605 нм.);

• ISRO - (англ.) Indian Space Research Organisation, Космическое агентство Индии;

• JAXA - (англ.) Japan Aerospace Exploration Agency, Японское аэрокосмическое агентство;

• KARI - (англ.) Korea Aerospace Research Institute, Корейский авиационно-космический научно-исследовательский институт;

• NASA - (англ.) National Aeronautics and Space Administration, Национальное управление по аэронавтике и исследованию космического пространства (США);

• NIR - (англ.) near-infrared, «ближний» инфракрасный спектральный канал (длина волны около 750 - 1400 нм.);

• NOAA - (англ.) National Oceanic and Atmospheric Administration, Национальное управление океанических и атмосферных исследований (США);

• PCA - (англ.) principal component analysis, метод главных компонент;

• PCM - (англ.) possibilistic с-means, алгоритм возможностных с-средних;

• PFCM - (англ.) possibilistic fuzzy с-means, алгоритм возможностных нечетких с-средних;

• R - (англ.) red, красный спектральный канал (длина волны около 630 -690 нм.);

• SWIR - (англ.) short-wavelength infrared, коротковолновый инфракрасный спектральный канал (длина волны около 1400 - 3000 нм.);

• USGS - (англ.) United States Geological Survey, Геологическая служба США;

• WGS-84 - (англ.) world geodetic system 1984, всемирная геодезическая система, мировой референц-эллипсоид;

• UTM - (англ.) universal transverse Mercator, универсальная поперечная проекция Меркатора;

• ГИС - геоинформационная система;

• ГПСЧ - генератор псевдослучайных чисел;

• ДЗЗ - дистанционное зондирование Земли;

• ИНС - искусственная нейронная сеть;

• КА - космический аппарат;

• ЛА - летательный аппарат;

• ОС - операционная система;

• ПО - программное обеспечение;

• СКО - среднеквадратичное отклонение;

• ЦКМ - цифровая карта местности;

• ЭВМ - электронная вычислительная машина.

Введение

Актуальность темы исследования

Распознавание образов в задачах анализа данных дистанционного зондирования Земли (данные ДЗЗ) в настоящее время является актуальной задачей, что подтверждается востребованностью распознавания при решении следующих задач обработка данных ДЗЗ:

• задачи автоматического и полуавтоматического уточнения топографических карт по актуальным данным ДЗЗ;

• задачи построения высокоточных детализированных карт местности;

• задачи обработки данных ДЗЗ и их привязки к конкретной системе координат по данным о положении и ориентации космического аппарата, сделавшего снимок.

Разработка новых подходов к распознаванию образов на данных ДЗЗ позволит повысить оперативность и уровень автоматизма решения перечисленных задач.

Анализ публикаций в области теории и практики распознавания образов на изображениях позволяет говорить о необходимости разработки подхода к распознаванию образов, который позволил бы:

• в существенной степени автоматизировать процесс распознавания образов;

• снизить временные затраты на выполнение распознавания образов;

• автоматически контролировать качество распознавания образов.

Сложность задачи распознавания образов возрастает в ситуациях, требующих оперативного распознавания, так как появляется строгое ограничение по времени, которое может быть не достижимо для существующих полуавтоматических методов и алгоритмов.

В данной диссертационной работе исследуются системы искусственного интеллекта и разрабатываются алгоритмы распознавания образов на изображениях и алгоритмы описания пространства признаков образов, реализующие в совокупности процесс распознавания образов на изображениях, обладающие перечисленными достоинствами.

Актуальность результатов диссертационной работы подтверждается также востребованностью результатов на производстве, а именно внедрением на следующих предприятиях:

• АО «Государственный Рязанский Приборный Завод» - результаты работы применяются для разработки и производства составных частей бортовых дисплеев комплексов улучшенного видения гражданской авиации.

• ООО «Кристалл-Техника» - результаты работы применяются на основе лицензионных договоров для производства экспериментальных образцов аппаратно-программного комплекса синтезированного видения бортовых дисплеев гражданской авиации.

Степень разработанности темы

Исследованию научных вопросов, связанных с обработкой изображений, посвящены работы известных отечественных и зарубежных ученых. Боль-

шой вклад в развитие научных исследований в этой области внесли: Визиль-тер Ю.В., Джанджгава Г.И., Евтушенко Ю.Г., Еремеев В.В., Желтов С.Ю., Кузин Л.Т., Сергеев В.В., Сойфер В.А., Федотов Н.Г. и другие. Значительное внимание этой проблеме уделяют и зарубежные ученые: Башков Е., Блейхут Р.,Гилл Ф., Понс Ж., Прэтт У., Форсайт Д., Фукунага К.

Базовый вклад в развитие научных исследований в области исследования научных вопросов, связанных с теорией искусственного интеллекта, теорией машинного обучения и теорией оптимизации, внесли: Вапник В.Н., Кохонен Т., ЛеКун Я., Осовский С., Платт Д., Розенблатт Ф., Фукушима К., Хайкин С., Харалик Р.М., Червоненкис А.Я., и другие.

В данной диссертационной работе приведены разработанные автором алгоритмы распознавания образов на изображениях и понижения размерности пространства признаков классифицируемых образов.

Введение диссертации (часть автореферата) на тему «Интеллектуальные алгоритмы формирования карт и моделей местности для производства составных частей бортовых дисплеев гражданской авиации»

Цель работы

Целью диссертационной работы является снижение временных затрат и повышение качества построения карт местности по результатам анализа данных ДЗЗ путем разработки интеллектуальных алгоритмов распознавания образов на изображениях.

Основные задачи исследования

Цель диссертационного исследования предопределила постановку и необходимость решения следующих задач.

1) На основе анализа проблемы построения высокоточных детализированных карт местности выработать требования к алгоритмам распознавания образов на изображениях.

2) Разработать алгоритм распознавания образов, основанный на применении древовидного нейросетевого классификатора, использующего ней-

ронные сети прямого распространения без обратных связей в качестве простых классификаторов.

3) Разработать алгоритм описания пространства признаков образов объектов, основанный на применении текстурных признаков Харалика и анализа главных компонент (англ. principal component analysis, PCA), применимый для сокращения размерности пространства признаков в задаче распознавания образов.

4) Разработать алгоритм описания пространства признаков образов, основанный на применении энергетических текстурных характеристик Лав-са и автоэнкодера, применимый для сокращения размерности пространства признаков в задаче распознавания образов.

5) Разработать программный комплекс, реализующий предложенные алгоритмы.

6) Провести экспериментальные исследования предложенных алгоритмов с целью сравнения временных и точностных характеристик предложенных алгоритмов с существующими решениями.

Научная новизна

В диссертационной работе предложены эффективные алгоритмы решения поставленных задач, научная новизна которых состоит в следующем.

1) Разработан алгоритм распознавания образов на изображениях, в котором применены алгоритмы нечетких c-средних для сегментации изображений и древовидного нейросетевого классификатора для классификации образов, в узлах которого находятся простые классификаторы - нейронные сети прямого распространения без обратных связей, что

позволяет добиться улучшения точности выделения образов объектов на изображении за счет наличия нечетких границ между выделяемыми образами и введения вариативной функции определения границ образов и улучшения способности классификатора к обобщению информации за счет разделения задачи классификации на набор подзадач, каждая из которых представляет собой бинарную классификацию достаточно различимых классов.

2) Разработан алгоритм описания пространства признаков образов объектов, в котором применены текстурные признаки Харалика и нейронная сеть, реализующая анализ главных компонент, что позволяет снизить временную сложность процесса распознавания образов за счет контролируемого удаления из обучающей выборки информации, несущественной с точки зрения анализа главных компонент.

3) Разработан алгоритм описания пространства признаков образов объектов, в котором применены энергетические текстурные характеристики Лавса и автоэнкодер, что позволяет снизить временную сложность процесса построения карт местности при примерно одинаковой точности дальнейшего распознавания образов за счет уменьшения размерности пространства признаков.

Соответствие паспорту специальности

Проблематика, исследованная в диссертации, соответствует специальность 05.13.01 «Системный анализ, управление и обработка информации». Согласно формуле специальности 05.13.01 — это специальность, занимающаяся проблемами разработки и применения методов системного анализа сложных прикладных объектов исследования, обработки информации, целенаправленного воздействия человека на объекты исследования, включая

вопросы анализа, моделирования, оптимизации, совершенствования управления и принятия решений, с целью повышения эффективности функционирования объектов исследования. Данная диссертационная работа соответствует формуле специальности, поскольку содержит в себе разработку алгоритмов распознавания образов, разработку алгоритмов представления плохо структурированных пространств признаков образов на изображениях, разработку алгоритмов анализа закономерностей в плохо структурированном пространстве признаков образов на изображении, применяемых в сложных прикладных объектах, коими являются геоинформационные системы общего и узкоспециализированного назначения.

Проблематика диссертации соответствует областям исследований:

• пункт 4 формулы специальности - разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации;

• пункт 5 формулы специальности - разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации;

• пункт 12 формулы специальности - визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации.

Теоретическая значимость работы

Теоретическая значимость работы заключается в исследовании и разработке алгоритма распознавания образов, основанного на применении древовидного нейросетевого классификатора, использующего нейронные сети прямого распространения без обратных связей в качестве простых классифика-

торов, алгоритмов описания пространства признаков образов объектов, основанных на применении текстурных признаков Харалика и РСА, алгоритмов описания пространства признаков образов объектов, основанных на применении энергетических текстурных характеристик Лавса и автоэнкодера. В совокупности, разработанные алгоритмы позволяют снизить временные затраты и увеличить точность построения высокоточных детализированных карт местности путем применения интеллектуальных подходов к распознаванию образов в задачах обработки данных ДЗЗ.

Практическая ценность работы

Практическая ценность диссертационной работы состоит в том, что разработанный алгоритм распознавания образов на изображениях, описания пространства признаков образов объектов, позволяют в составе геоинформационных систем (ГИС) общего и специального назначения повысить временную эффективность процесса и точность построения высокоточных детализированных карт местности путем применения интеллектуальных подходов к распознаванию образов на изображениях, что отражается в повышении эффективности и точности решения различных задач дешифрации данных ДЗЗ, к которым относятся задачи автоматического картографирования, задачи уточнения цифровых карт местности (ЦКМ) и некоторые другие.

Разработанные алгоритмы применяются в составе отдельных геоинформационных модулей бортовых систем улучшенного и синтезированного видения гражданской авиации, позволяющих уточнять положение летательного аппарата и ситуативную обстановку по результатам анализа данных ДЗЗ, заранее загруженных в память бортовых систем, и данных, поступающих от телевизионных и тепловизионных камер, установленных на борту летательного аппарата. Применение разработанных алгоритмов в составе бортовых систем позволяет увеличить точность построения улучшенного и синтезиро-

ванного изображений на дисплее пилота, снизить временные характеристики построения изображения на дисплее, что приводит к повышению оперативности принятия решений пилотом и, следовательно, к повышению безопасности полетов.

Применение результатов работы на производстве

Результаты диссертационной работы были успешно внедрены на производстве следующими предприятиями.

• АО «Государственный Рязанский Приборный Завод» - результаты работы применяются для разработки и производства составных частей бортовых дисплеев комплексов улучшенного видения гражданской авиации.

• ООО «Кристалл-Техника» - результаты работы применяются на основе лицензионных договоров для производства экспериментальных образцов аппаратно-программного комплекса синтезированного видения бортовых дисплеев гражданской авиации.

Методы и методология исследования

Теоретические исследования и поиск решения сформулированных задач осуществлялся методами теории искусственного интеллекта, теории машинного обучения, теории оптимизации, теории компьютерного зрения.

Корректность теоретически найденных закономерностей и решений проверялась вычислительными экспериментами и практическим применением результатов исследований в условиях реальной проектной деятельности.

Основные положения, выносимые на защиту

На защиту выносятся следующие результаты диссертационной работы.

1) Алгоритм распознавания образов на изображениях (данных ДЗЗ), основанный на применении древовидного нейросетевого классификатора,

использующего нейронные сети прямого распространения без обратных связей в качестве простых классификаторов.

2) Алгоритмы описания пространства признаков образов объектов на изображениях (данных ДЗЗ), основанные на применении текстурных признаков Харалика и РСА.

3) Алгоритмы описания пространства признаков образов объектов на изображениях (данных ДЗЗ), основанные на применении энергетических текстурных характеристик Лавса и автоэнкодера.

4) Программный комплекс, реализующий информационную модель процесса распознавания образов и перечисленные алгоритмы.

Достоверность и апробация результатов

Достоверность научных положений, теоретических выводов и практических результатов диссертационной работы подтверждаются:

• корректным использованием понятий и выводов теории искусственного интеллекта, теории машинного обучения, теории оптимизации, теории обработки изображений (компьютерного зрения);

• апробацией предложенных алгоритмов распознавания образов на изображениях, алгоритмов описания пространства признаков образов изображений на конкретных примерах и в прикладных задачах;

• разработкой действующего программного комплекса, реализующего информационную модель процесса распознавания образов и перечисленных алгоритмов, подтвержденного свидетельством об официальной регистрации;

• наличием актов внедрения результатов диссертационной работы.

Личный вклад автора

Все результаты диссертационной работы, в том числе постановка задач, разработка и результаты исследования защищаемых алгоритмов распознавания образов на изображениях и алгоритмов описания пространства признаков образов, основные научные результаты, выводы и рекомендации, принадлежат лично автору.

Программный комплекс, реализующий информационную модель процесса распознавания образов и предложенные алгоритмы, разработан под руководством и при непосредственном участии автора.

Работы, выполненные в соавторстве, посвящены общей постановке проблемы, концепции ее решения, предложенной автором, конкретизации разработанных алгоритмов распознавания образов на изображениях и алгоритмов описания пространства признаков образов изображений для ряда подзадач, решаемых в процессе построения высокоточных детализированных 2-х мерных и 3-х мерных карт и моделей местности, разработке отдельных программных средств.

Апробация работы

Основные результаты работы докладывались на 13 научно-технических конференциях, в то числе 4rd Mediterranean Conference on Embedded Computing (MECO-2015; Черногория, Будва, 2015 г.), 5th Mediterranean Conference on Embedded Computing (MECO-2016; Черногория, Бар, 2016 г.), Mezinarodni vedecka a prakticka konference «World & Science» (Чехия, Брно, 2013 г.), XXVIII Международная научная конференция «Математические методы в технике и технологиях» (ММТТ-28; Рязань, РГРТУ, 2015 г.), Международная научно-техническая конференция «Перспективные информационные технологии» (ПИТ-2015; Самара, 2015 г.), XV Международная конференция молодых ученых «Леса Евразии — Большой Алтай» (Барнаул, 2016

г.), Международная научно-техническая и научно-методическая конференция «Современные технологии в науке и образовании» (СТНО-2016; Рязань, РГРТУ, 2016 г.).

Публикации

По теме диссертации опубликовано 27 печатных работ (в том числе 8 работ в журналах, входящих в перечень ВАК для кандидатских и докторских диссертаций, а также 11 публикаций в изданиях, индексируемых в БД Scopus). Получен 1 патент на изобретения, 1 патент на полезную модель, 6 свидетельств о регистрации программного продукта.

Структура и объем диссертации

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, 2-х приложений. Список литературы содержит 66 наименований. Общий объем работы составляет 149 страниц.

Глава 1

Исследование математической модели процесса распознавания образов

1.1 Информационная модель процесса построения карт местности и распознавания образов на изображении

Данные ДЗЗ, получаемые от сенсоров, можно представить в виде изображения В (1.1):

в = (М; (1.1)

Ьц = (bijl,Ь^к,Ьцк}; Ь^к Е [—1; 1]; г = Тд; ^ = 171; к = Т^К; к е n

где:

• В - матрица, описывающая изображение;

• bi j - пиксель изображения В, находящийся в ¿-ой строке пикселей, в ]-м столбце;

• ^¿к - спектральная яркость пикселя Ь^ в к-ом спектральном канале;

• I, 3 - количество строк и столбцов пикселей на изображении В соответственно;

• К - количество спектральных каналов на изображении В.

Каждый элемент матрицы В является вектором Ь^, каждая компонента которого является спектральной яркостью пикселя (%,]) в соответствующем спектральном канале.

Для удобства можно рассматривать матрицы В^. Матрица В^ представляет собой одноканальное изображение, содержащее к-ый спектральный канал из В.

Свойства матриц В и В^ (сингулярность и т.д.) будут зависеть от характера сцены (освещенность, погодные условия и т.д.).

Также для удобства дальнейшего анализа и работы значения спектральных яркостей Ь^ь необходимо линейно преобразовать в диапазон [-1; 1] для удобства дальнейшей работы с ними.

Цифровая карта местности М является множеством векторных объектов, объединенных в слои в соответствии с атрибутивной информацией. В настоящей работе в качестве формы описания ЦКМ М будет использоваться представление в виде множества точек (х,у) и функции аЫг(х,у) таких, что (1.2):

X £ [Хт<1п; Хтах]; у £ [Утгп; Утах]; (1.2)

Х,У, Xmin, Xmax, Утт, Утах £

где:

• хтт - нижняя граница диапазона координат ЦКМ по оси ОХ рамки карты;

• хтах - верхняя граница диапазона координат ЦКМ по оси ОХ рамки карты;

• Утт - нижняя граница диапазона координат ЦКМ по оси ОУ рамки карты;

• утах - верхняя граница диапазона координат ЦКМ по оси ОУ рамки карты.

Каждой точке (х,у) Е М ставится в соответствие некоторая атрибутивная информация (наличие или отсутствие объекта в точке, тип объекта и т.п.), описываемая функцией аЫг(х,у). В простейшем случае, аИг(х,у) является способом определения индексов объекта и класса объекта, присутствующего в точке (х,у).

Функция формирования ЦКМ М по изображение В может быть описана как М = гсд(В).

Параметрами алгоритма формирования ЦКМ по изображению являются:

• изображение В;

• параметры алгоритмов - составных частей алгоритма формирования ЦКМ.

Алгоритм формирования ЦКМ М по изображению В приведен на рисунке 1.1.

В общем случае, процесс формирования ЦКМ состоит из следующих этапов [1].

1) Предобработка В.

2) Выделение образов объектов (сегментация) (1.3):

Н = вдт(В); (1.3)

Н = (к};

К С В; кт П кп = 0Ут = п,

Начало

Предобработка

Сегментация

I

Описание образов

I

Классификация (распознавание) образов

Формирование векторов признаков

Сокращение размерности векторов признаков

Визуализация (построение карты)

Конец

Рисунок 1.1 - Схема алгоритма формирования ЦКМ по данным ДЗЗ. где Н - множество образов, выделенных на изображении.

3) Описание образов (1.4):

V = Авс(Н); (1.4)

V = {у}; \У| = \Н|; V ^ К

где:

• V - векторное пространство признаков образов из Н;

• V - вектор признаков образа К.

4) Классификация выделенных образов (1.5):

С = сЩН, V) = сЩН, Авс(Н)); (1.5)

С = {с,}; <1 =1,И сл С Н; ст П сп = 0 Ут = п,

где:

• С - результирующее множество классов;

• И - количество классов;

• (1 - индекс класса.

5) Формирование ЦКМ М по множеству классов С - визуализация результатов распознавания.

Поскольку множество Н - конечно, то можно ввести нумерацию данного множества: т.о. К— > К^, где К^ Е N - индекс объекта К.

Каждой точке (х,у) Е М и ее окрестности (х + 5х,у + 5У) ставится в соответствие пиксель bi j Е В, для которого можно получить ел и К -Iп¿. По рассчитанным сл и Кможно получить функцию аЫг в окрестности (х + 5х,у + 6у), где:

• (1 - индекс класса;

• К- индекс объекта.

Задача диссертационного исследования может быть сведена к определению функций вдт, (1вс и с1в, которые:

sgm описывает сегментацию изображения;

• dsc описывает формирование векторов признаков образов, выделенных на изображении;

• eis описывает классификацию образов, выделенных на изображении.

Процесс формирования ЦКМ В ^ М может быть описан как (1.6):

1.2 Оценка качества формирования ЦКМ по данным ДЗЗ

Качество формирования ЦКМ по данным ДЗЗ гсд оценивается с помощью количественной меры ошибки распознавания Е. К мере Е предъявляются следующие требования:

• Е ^ 0 при увеличении качества распознавания образов;

• Е ^ то при уменьшении качества распознавания образов;

• Е должна быть определена для У В;

Н = здт(В); V = Авс(Н); С = с1в(Н, V); Н,С ^ М, аИг.

(1.6)

Уравнения (1.6) могут быть сведены к (1.7):

здт(В),с1з(8дт(В),йзс(здт(В)) ^ М,аЫг.

(1.7)

• Е ^ 0; У В.

Одной из мер Е, удовлетворяющей перечисленным свойствам, является мера (1.8):

м м

Е ^ ](fr j ght (хт,Ут) ^ ^ fright (хт,Ут, хт' ,Ут')); (1.8)

т=1 т'=1

1 , , I ^хт Ут ^rЪхт Ут 1

J right\Хт ,Ут) = Л ;

I V, dXm ут = dyight хт ут '

2 / I УШ = hхт' У т' ^ hrгght хт ут = Kight хт, ут',

Jright\Хт,Ут, %т' ,Ут') = Л ,

I 1 h = h Uh • = h ' '

I 1 хт Ут хт' Ут' fight хт Ут fight хт' Ут' '

где:

• (хт, ут) - контрольные точки, для которых определены вручную номера классов и номера объектов;

дЫ - функция, имеющая своим значением 0 в том случае, если класс (%т,Ут) определен верно, и 1 в противном случае;

2

fright - функция, имеющая своим значением ° в том случае, если точки (хт, ут) и (хт',ут') принадлежат к одному и тому же классу на построенной карте М ив действительности или на карте и в действительности их классы различны, и 1 в противном случае.

Таким образом, Е тем больше, чем больше точек, для которых неверно определены классы, или точек, неправильно отнесенных к одному и тому же или к разным объектам.

Важным свойством Е является ее область значений (1.9):

Е е [°,S2 + S], (1.9)

где S - количество точек на М.

В ходе экспериментальных исследований оказалось удобным оперировать Е в процентном отношении количества правильно классифицированных точек, для чего можно воспользоваться модификацией Е - функцией Е% (1.10):

1.3 Постановка задачи

Для достижения цели диссертационного исследования, состоящего в разработке алгоритмов распознавания образов на данных ДЗЗ, обладающих низкой временной сложностью и позволяющих получить высокое качество результата, необходимо:

1) разработать алгоритм распознавания образов, основанный на применении алгоритма нечетких с-теапэ и древовидного нейросетевого классификатора, использующего нейронные сети прямого распространения без обратных связей в качестве простых классификаторов;

2) разработать алгоритм описания пространства признаков образов объектов, основанный на применении текстурных признаков Харалика и анализа главных компонент;

3) разработать алгоритм описания пространства признаков образов, основанный на применении энергетических текстурных характеристик Лав-са и автоэнкодера;

4) разработать программный комплекс, реализующий предложенные алгоритмы;

5) выполнить экспериментальные исследования возможности использования систем искусственного интеллекта для решения практических за-

(1.10)

дач распознавания образов на данных ДЗЗ в задачах картографирования местности.

1.4 Основные результаты

Описана информационная модель процесса построения карт местности и распознавания образов на данных ДЗЗ. Определен численный алгоритм оценки качества построения карт местности. Приведен обзор существующих методов и алгоритмов распознавания образов на данных ДЗЗ (в частности, существующих методов и алгоритмов описания пространства признаков образов). Приведено описание алгоритма компьютерного зрения, выполняющего построение карт местности.

Рассмотрены возможные источники данных ДЗЗ и ЦКМ.

Выполнена постановка задачи диссертационного исследования.

Глава 2

Разработка алгоритма распознавания образов на данных ДЗЗ, основанного на применении древовидного нейросетевого классификатора

Как было показано в главе 1, ключевыми этапами процесса распознавания образов являются:

• выделение образов объектов на изображении (сегментация изображения);

• описание образов;

• классификация выделенных образов.

В настоящей главе рассмотрены алгоритмы выделения образов объектов на изображении и алгоритм классификации выделенных образов. Алгоритмы описания образов рассмотрены в главе 3.

2.1 Алгоритм выделения образов на изображении, основанный на применении алгоритма нечетких е-средних

2.1.1 Общая схема алгоритма

Существуют следующие подходы к сегментации изображений с выделением в результате образов классифицируемых объектов:

• сегментация с применением алгоритмов выделения контуров [2];

• сегментация путем наращивания областей [2];

• пороговое преобразование [2,3];

• алгоритм морфологического водораздела [3];

• сегментация с помощью нейронной карты Кохонена [4-6];

• сегментация с помощью алгоритма к-теапэ [7];

• сегментация с применением алгоритма нечетких с-теапэ и его модификаций [8-11];

• некоторые другие методы.

Некоторые из перечисленных подходов (такие как, например, сегментация с применением алгоритмов выделения контуров, сегментация путем наращивания областей, пороговое преобразование и алгоритм морфологического водораздела) зависят от характера освещенности сцены. В данном случае, плохо подобранные параметры алгоритмов приводят к сегментации образов отдельных объектов, затрудняющей дальнейшую классификацию или, наоборот, к недостаточной сегментации, вследствие чего могут быть объединены образы отдельных соседних объектов. Для принятия во внимание характера освещенности сцены перечисленные подходы используют различного рода эвристики, следствием чего является временное усложнение процесса распознавания, а так же усложнение функционала оценки качества сегментации, что приводит к дополнительным затратам на контроль работы алгоритмов со стороны оператора.

Сегментация изображений с применением нейронной карты Кохонена и алгоритма к-теапэ позволяет адаптироваться к характеру освещения сцены.

Алгоритм к-теапэ, кроме того, предоставляет больше возможностей для настройки параметров процесса сегментации.

Развитием алгоритма к-теапэ в сторону лучшего качества сегментации является алгоритм нечетких с-теапэ, поскольку последний позволяет получать нечеткие границы между классами и, следовательно, локально влиять на точность сегментации с помощью адаптивного порога функции принадлежности.

Таким образом, наилучшим выбором для выделения образов на сцене оказывается алгоритм нечетких с-теапэ и его модификации.

Параметрами алгоритма сегментации (выделения образов) являются:

• изображение В;

• количество нечетких кластеров

• Тт8; Тт8 € К - порог функции принадлежности.

Схема алгоритма выделения образов приведена на рисунке 2.1.

Алгоритм выделения образов состоит из следующих этапов.

1) Классификация векторов спектральных яркостей пикселей изображения В с помощью одной из версий алгоритма нечетких с-средних [12,13]

2) Кластеризация изображения В с получением множества Q = {д} нечетких кластеров.

Каждый нечеткий кластер И является замкнутым множеством пикселей из В. Пиксели, составляющие И, имеют максимум функции принадлежности /т8 в одном и том же классе.

Алгоритм классификации состоит из построчного сканирования В, классификации каждого пикселя и постепенного наращивания формируемых кластеров.

Классификация векторов спект рал ьных яркостей пикселей В

I

Кластеризация В

Форм ирование м ножест ва образов Н

Рисунок 2.1 - Схема алгоритма выделения образов.

3) Формирование множества образов Н = {h}.

Каждый нечеткий кластер q анализируется следующим образом:

• формируется q' такой, что Ьг] е q' Ъг] е q' ^ f.тs(Ъг]) > Ттs, где Тт8 - порог функции принадлежности;

• если qbad = Я я' делит q на два или более связных множества, то h = я' и Яъаd гп' Яъаd гп = {Ьг]}, где bij - пиксели, не являющиеся граничными для q;

• в противном случае ^ad целиком состоит из граничных пикселей для q), h = q'.

2.1.2 Алгоритм нечетких с-средних

Алгоритм нечетких с-средних (fuzzy c-means; алгоритм FCM) является развитием алгоритма k-means и применяется в случае, когда требуется более гибкий подход к разделению исходного множества объектов на классы [12,14]. Существует несколько разновидностей FCM алгоритма:

• непосредственно алгоритм FCM, основанный на учете свойства классовой относительности [8,15];

• алгоритм возможностных с-средних (possibilistic с-means; алгоритм PCM), обеспечивающий учет свойства классовой типичности [9];

• алгоритм возможностных нечетких с-средних (possibilistic fuzzy с-means; алгоритм PFCM), реализующий одновременный учет свойств классовой относительности и классовой типичности. [10]

Пусть V = {v} - векторное пространство, определенное над [-1; 1} и содержащее векторы спектральных яркостей (|^| = К). Для В справедливо, таким образом, В с V.

Алгоритм FCM

Параметры алгоритма:

• изображение В;

• количество нечетких кластеров |Q|;

• число классов Р;

• максимальное число итераций Тцег;

Список литературы диссертационного исследования кандидат наук Акинина Наталья Викторовна, 2018 год

Литература

1. Н.В. Акинина. Нейросетевой метод дешифрации спутниковых снимков в задачах обнаружения несанкционированных свалок // Известия Тульского государственного университета (технические науки). Выпуск 2. 2017. С. 25-31.

2. В.К. Злобин, В.В. Еремеев, А.Е. Кузнецов. Обработка изображений в геоинформационных системах: Учебное пособие. Рязань: Рязанский государственный радиотехнический университет, 2006.

3. Р. Гонсалес, Р. Вудс. Цифровая обработка изображений. М.: Техносфера, 2005.

4. T. Kohonen. Self-Organizing Maps. USA, New York: Springer-Verlag, 2001.

5. Л.Г. Комарцова, А.В. Максимов. Нейрокомпьютеры. М.: Издательство МГТУ имени Н.Э. Баумана, 2004.

6. М.В. Акинин, Ю.В. Конкин. Применение искусственных нейронных сетей для решения задач уточнения топографических карт // Проблемы информатики в образовании, управлении, экономике и технике: сборник статей XI Международной научно-технический конференции. 2011.

7. Д. Форсайт, Ж. Понс. Компьютерное зрение. Современный подход. М.: Издательский дом «Вильямс», 2004.

8. A Modified Fuzzy C-Means Algorithm for Bias Field Estimation and Segmentation of MRI Data / Ahmed M.N., Yamany S.M., Mohamed N. [и др.] // IEEE Transactions on Medical Imaging. 2002. С. 193 - 199.

9. Y. Yong. Image segmentation based on fuzzy clustering with neighborhood information // Optica Applicata. XXXIX. 2009. С. 135 - 147.

10. A possibilistic fuzzy c-means clustering algorithm / Pal N.R., Pal K., Keller J.M. [и др.] // IEEE Transactions on Fuzzy Systems (Volume: 13,Issue: 4, Aug. 2005). 2005. С. 517 - 530.

11. А.В. Лисин, Р.Т. Файзуллин. Применение метаэвристических алгоритмов к решению задач кластеризации методом k-средних // Компьютерная оптика (т. 39, №3). 2015. С. 406 - 412.

12. Fuzzy c-means algorithm for segmentation of aerial photography data obtained using unmanned aerial vehicle / Sokolova A.V., Akinin M.V., Akinina N.V. [и др.] // ISPRS WG V/5 and WG III/3 International Workshop «Photogrammetric techniques for video surveillance, biometrics and biomedicine». 2015.

13. М.В. Акинин, Н.В. Акинина, А.В. Соколова. Алгоритм сегментации изображений, основанный на применении древовидного пирамидального ней-росетевого сегментатора // Математические методы в технике и технологиях - ММТТ-28: сб. трудов XXVIII Междунар. науч. конф.: в 12 т. Т.9. / под общ. ред. А.А. Большакова. 2015.

14. A Possibilistic Fuzzy c-Means Clustering Algorithm / Nikhil R.P., Kuhu P., Keller J.M. [и др.] // IEEE Transactions fuzzy systems, vol. 13, №. 4. 2005. С. 517 - 530.

15. Intelligent system of selecting the landing site of unmanned aerial vehicles / Akinin M.V., Akinina N.V., Nikiforov M.B. [и др.] // 5th Mediterranean Conference on Embedded Computing (MECO-2016). 2016. С. 192 - 194.

16. Исследование эффективности классификации гиперспектральных спутниковых изображений природных и антропогенных территорий / Бор-зов С.М., Потатуркин А.О., Потатуркин О.И. [и др.] // Автометрия 2016, номер 1. 2016. С. 3 - 14.

17. А.Н. Катулев, Н.А. Северцев. Математические методы в системах поддержки принятия решений. М.: Высшая школа, 2005.

18. Л. Шапиро, Д. Стокман. Компьютерное зрение. М.: БИНОМ. Лаборатория знаний, 2006.

19. M.V. Akinin, Y.V. Konkin, M.B. Nikiforov. Using Kitano's grammar encoding for finding optimal multilayer artificial neural network without feedback in image processing problems // Science and Education: Materials of the III International research and practice conference (vol. I). 2013.

20. Л.М. Червяков, М.В. Акинин. Нейросетевой алгоритм уточнения векторных топографических карт по данным дистанционного зондирования Земли // Известия Юго-Западного государственного университета № 6 (51), часть 2. 2013. С. 32 - 40.

21. Gradient-based learning applied to document recognition / LeCun Y., Bottou L., Bengio Y. [и др.] // Proceedings of the IEEE, 86(11). 1998.

22. M.A. Ranzato, Y.L. Boureau, Y. LeCun. Sparse feature learning for deep belief networks. 2007.

23. С. Хайкин. Нейронные сети: полный курс, 2-е изд., испр.: Пер. с англ. М.: ООО «И.Д. Вильямс», 2006.

24. Д. Джарратано, Г. Райли. Экспертные системы: принципы разработки и программирование. М.: Издательский дом «Вильямс», 2006.

25. Д.Ф. Люгер. Искусственный интеллект: стратегии и методы решения сложных проблем. М.: Издательский дом «Вильямс», 2003.

26. М.В. Акинин, Ю.В. Конкин. Нейросетевой способ составления карт гарей лесных массивов по данным дистанционного зондирования Земли // Информатика и прикладная математика: межвузовский сборник научных трудов. 2012. С. 51 - 57.

27. Нейросетевой метод оперативного картографирования с использованием беспилотного летательного аппарата / Акинин М.В., Акинина Н.В., Никифоров М.Б. [и др.] // Динамика сложных систем. 2015. С. 9 - 14.

28. Решение задач построения карт гарей лесов с помощью машины опорных векторов / Акинин М.В., Акинина Н.В., Клочков А.Я. [и др.] // XV Международная конференция молодых ученых «Леса Евразии - Большой Алтай». 2015.

29. С.В. Аксенов, В.Б. Новосельцев. Организация и использование нейронных сетей (методы и технологии). Томск: Издательство НТЛ, 2006.

30. Application of Grammars of Kitano Graph Generation for Coding of Structure of Feedforward Artificial Neural Network / Akinin M.V., Akinina N.V., Kolesenkov A.N. [и др.] // Research Journal of Applied Sciences (volume 10, issue 12, 2015). 2015. С. 815 - 818.

31. Р. Каплан. Основные концепции нейронных сетей. М.: Издательский дом «Вильямс», 2003.

32. М.В. Акинин, Ю.В. Конкин. Исследование подходов к обучению многослойного перцептрона. 2012.

33. С.М. Борзов, А.О. Потатуркин, О.И. Потатуркин. Обнаружение изменений территории застройки на основе применения структурных признаков спутниковых изображений // Автометрия 2015, номер 4. 2015. С. 3 - 11.

34. М.В. Акинин, Ю.В. Конкин. Нейросетевой способ составления карт гарей лесных массивов по данным дистанционного зондирования Земли // Владимирский государственный университет имени А.Г. и Н.Г. Столетовых. 2012. С. 37 - 45.

35. K.I. Laws. Textured image segmentation. // Диссертация на соискание степени Ph.D. США, Лос-Анджелес: Университет Южной Калифорнии, 1980.

36. В.В. Кутикова, А.В. Гайдель. Исследование методов отбора информативных признаков для задачи распознавания текстурных изображений с помощью масок Лавса // Компьютерная оптика (т. 39, № 5). 2015. С. 744 - 750.

37. М.В. Акинин, А.А. Логинов, М.Б. Никифоров. Способы описания текстур в задачах построения топографических карт // Материалы XI Международной научно-технической конференции «АВИА - 2013» (том 4). 2013.

38. M. Haralick R., K. Shanmugam, I. Dinstein. Textural features for image classification // IEEE Transactions on systems, man and cybernetics. Vol. SMC 3, № 6. 1973. С. 610-621.

39. Применение вейвлет-преобразования Хаара, метода главных компонент и нейронных сетей для оптического распознавания символов на изображениях в присутствии импульсного шума / Спицын В.Г., Болотова Ю.А., Фан Н.Х. [и др.] // Компьютерная оптика (т. 40, № 2). 2016. С. 249 - 257.

40. Н.В. Акинина, М.В. Акинин, М.Б. Никифоров. Применение нейросете-вых методов анализа главных компонент при решении задач обработки данных дистанционного зондирования Земли // Mezinarodni vedecka a prakticka konference «World & Science». 2014.

41. А.Я. Клочков, Н.А. Бычкова, Н.В. Акинина. Нейросетевые методы анализа главных компонент в задачах обработки данных дистанционного зондирования Земли // Известия Юго-Западного государственного университета № 6 (51), часть 2. 2013. С. 69 - 76.

42. Автоэнкодер: подход к понижению размерности векторного пространства с контролируемой потерей информации / Акинина Н.В., Акинин М.В., Соколова А.В. [и др.] // Известия Тульского государственного университета (технические науки). Выпуск 9. 2016. С. 3 - 12.

43. Н.В. Акинина. Понижение размерности векторного пространства данных аэрофотоснимков на основе автоэнкодера // Математические методы в технике и технологиях - ММТТ-28: сб. трудов XXVIII Междунар. науч. конф. 2015.

44. V.S. Sidorova. Unsupervised Classification of Image Texture // Pattern Recognition and Image Analysis. 2008. С. 694 - 700.

45. Н.И. Глумов. Метод отбора информативных признаков на цифровых изображениях // Компьютерная оптика. 2007. С. 73 - 76.

46. Neural network implementation of a principal component analysis tasks on board the unmanned aerial vehicle information processing in real time / Akinin M.V., Akinina N.V., Nikiforov M.B. [и др.] // 5th Mediterranean Conference on Embedded Computing (MEC0-2016). 2016. С. 326 - 330.

47. М.В. Акинин, Н.В. Акинина, А.В. Соколова. Понижение размерности пространства текстурных признаков в задачах распознавания образов // Перспективные информационные технологии. 2015.

48. Methods and Algorithms of Heterogeneous Interference Filtration with The Use of Artificial Intelligence Systems in The Tasks of Manipulation of Data of Earth's Remote Sensing / Akinin M.V., Akinina N.V., Akinina A.V. [и др.] // Research Journal of Pharmaceutical, Biological and Chemical Sciences (volume 7, issue 6). 2016. С. 3187 - 3192.

49. Oja E., H. Ogawa, J. Wangviwattana. Learning in nonlinear constrained hebbian networks // Proc. ICANN-91, Espoo, Finland. 1991. С. 385 - 390.

50. T.D. Sanger. Optimal unsupervised learning in single layer linear feedformed neural network // Neural Networks, Vol. 2. 1989. С. 459 - 473.

51. Г.А. Соловьева. Применение метода текстурных карт Лавса для обнаружения поверхностных макродефектов // Приволжский научный вестник. 2014. С. 22 - 25.

52. Н.В. Акинина. Применение автоэнкодера для решения задач понижения размерности изображений // Новые информационные технологии в научных исследованиях: материалы XX Всероссийской научной-технической конференции студентов, молодых ученых и специалистов. 2015.

53. Autoencoder: approach to the reduction of the dimension of the vector space with controlled loss of information / Akinin M.V., Akinina N.V., Nikiforov M.B. [и др.] // 4rd Mediterranean Conference on Embedded Computing (MEC0-2015). 2015. С. 171 - 173.

54. Landsat.org [Электронный ресурс]. URL: http://www.landsat.org/ortho, Дата обращения: 01.05.2014.

55. OpenStreetMap [Электронный ресурс]. URL: http://www.openstreetmap.org, Дата обращения: 01.05.2014.

56. Л.Н. Чабан. Теория и алгоритмы распознавания образов. М.: МИИГАиК, 2004.

57. Цифровая обработка изображений в информационных системах: Учебное пособие. / Грузман И.С., Киричук В.С., Косых В.П. [и др.]. Новосибирск: Изд-во НГТУ, 2002.

58. Селекция и распознавание на основе локационной информации / Горелик А.Л., Барабаш Ю.Л., Кривошеев О.В. [и др.]. М.: Радио и связь, 1990.

59. G. H. Neural Networks for Pattern Recognition. Oxford, UK: Clarendon Press, 1995.

60. C.M. B. Pattern Recognition and Machine Learning. Cambridge, UK: Springer, 2006.

61. Н. Нильсон. Искусственный интеллект. Методы поиска решений. М.: Мир, 1973.

62. Ж.Л. Лорьер. Системы искусственного интеллекта: Пер. с франц. М.: Мир, 1991.

63. В.Н. Вапник, А.Я. Червоненкис. Теория распознавания образов (статистические проблемы обучения). М.: Наука, 1974.

64. Р. Дуда, П. Харт. Распознавание образов и анализ сцен. М.: Мир, 1976.

65. М.А. Айзерман, Э.М. Браверман, Л.И. Розоноэр. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970.

66. W.S. Meisel. Potential Functions in Mathematical Pattern Recognition // IEEE Transactions on Computers, vol. C-18, № 10. 1969. С. 911 - 918.

Приложение А

Свидетельства о государственной регистрации программ для ЭВМ

Ш€ШШШАШ ФВДШРДЩШШ

Приложение Б

Внедрение результатов работы в производство

1) Разработанное алгоритмическое и программное обеспечение внедрены в производственный процесс ООО «Кристалл-Техника» на основе Лицензионного договора № 3 лц/16 от 01.12.2016 г. и на основе Лицензионного договора № 4 лц/16 от 01.12.2016 г. на полученные Исполнителем и зарегистрированные РИД по двум программам для ЭВМ (Свидетельство № 2015661472 от 29.10.2015 г. и Свидетельство № 2016663487 от 08.12.2016 г.).

Акт внедрения прилагается.

2) Разработанные алгоритмические решения внедрены в разработки АО «Государственный Рязанский приборный завод» при проектировании систем технического зрения (СТЗ, использующих картографические данные и модели местности).

Акт внедрения прилагается.

УТВЕРЖДАЮ Заместитель директора ООО «Кристалл - Техника» А.И. Колесников «26» декабря 2016 г.

АКТ

внедрения результатов диссертационной работы Н.В. Акининой «Интеллектуальные алгоритмы формирования карт и моделей местности для производства составных частей бортовых дисплеев гражданской авиации»

Общество с ограниченной ответственностью «Кристалл-Техника» (ООО «Кристалл-Техника») (г. Тверь) реализовало в своем производственном процессе материалы диссертационной работы Н.В. Акининой на тему «Интеллектуальные алгоритмы формирования карт и моделей местности для производства составных частей бортовых дисплеев гражданской авиации» для применения в разработках аппаратуры для бортовых сенсоров летательных аппаратов (приборов видимого спектра и тепловизионных).

ООО «Кристалл-техника» заключило лицензионные договоры на полученные и зарегистрированные соискателем результаты интеллектуальной деятельности по двум программам для ЭВМ:

договор № 3 лц/16 от 01.12.2016 г.; программа для ЭВМ «Тестирование алгоритмов системы синтезированного видения в составе бортовых систем гражданской авиации» (свидетельство № 2015661472 от 14.09.2015 г.);

договор № 4 лц/16 от 01.12.2016 г.; программа для ЭВМ «Формирование комбинированных изображений с применением технологии синтезированного видения» (свидетельство № 2016663487 от 08.12.2016 г.).

Приложения: Лицензионный договор № 3 лц/16 от 01.12.2016 г. Лицензионного договора № 4 лц/ 16 от 01.12.2016 г.

Главный бухгалтер ООО «Кристалл-Техника»

Н.А. Громова

УТВЕРЖДАЮ Первый заместитель генерального

7

л

АКТ

внедрения результатов кандидатской диссертационной работы Акининой Натальи Викторовны «Интеллектуальные алгоритмы формирования карт и моделей местности на основе изображений подстилающей поверхности в геоинформационных системах и системах комбинированного видения», представленной на соискание ученой степени кандидата технических наук по специальности 05.13.01 - «Системный анализ, управление и обработка информации (в промышленности)».

Настоящий акт составлен комиссией в составе:

• директор — главный конструктор научно-конструкторского центра видеокомпьютерных технологий, к.т.н., JI.H. Костяшкин,

• главный конструктор по направлению, к.т.н., A.A. Логинов,

• начальник лаборатории, С.С. Рожковский,

• ведущий научный сотрудник, к.т.н., С.А. Юкин,

в том, что практические и теоретические результаты научных исследований Акининой Н.В. нашли применение в инициативной разработке АО «Государственный Рязанский приборный завод» по теме: в АО «ГРПЗ» по теме «Многоспектральная система технического зрения для БРЭО боевого вертолёта». При этом использованы следующие результаты диссертационной работы Акининой Н.В., представленной на соискание ученой степени кандидата технических наук:

• алгоритм картографирования местности, основанный на применении древовидного нейросетевого классификатора, использующего нейронные сети прямого распространения без обратных связей в качестве простых классификаторов, для распознавания образов объектов;

• алгоритм, основанный на применении текстурных признаков Харалика и анализа главных компонент, используемый для сокращения размерности

пространства признаков образов объектов; • алгоритм, основанный на применении энергетических текстурных характеристик Лавса и автоэнкодера, используемый для сокращения размерности пространства признаков образов объектов. Использование указанных результатов диссертационной работы Акининой Н.В. дало возможность проведения исследований с целью получения оценок потенциальных характеристик проектируемых СТЗ (использующих картографические данные и модели местности) на базе имитационного стенда, что позволило решить проблему разработки инструментальных средств исследования/анализа.

Председатель комиссии

Л.Н. Костяшкин

Члены комиссии

А.А. Логинов

С.С. Рожковский

С.А. Юкин