Генеративные и дискриминантные вероятностные методы обучения визуальным понятиям тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Филатов, Владислав Игоревич

• Филатов, Владислав Игоревич
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Филатов, Владислав Игоревич

Оглавление

Используемые сокращения

Введение

Глава 1. Анализ существующих подходов формирования визуальных понятий

1.1. Подходы на основе аннотированных и неаннотированных данных

1.2. Подходы на основе использования различных каналов информации

1.3. Подходы на основе различных представлений изображений

1.3.1. Подход на основе признаковых представлений

1.3.2. Подход на основе искусственных нейронных сетей

1.3.3. Подход на основе иерархических представлений

1.4. Вероятностный подход

Выводы по первой главе

Глава 2. Синтез генеративных и дискриминантных методов формирования визуальных понятий

2.1. Описание генеративных и дискриминантных методов

2.1.1. Введение. Общие положения

2.1.2. Оценка параметров модели источника

2.1.3. Идентификация модели источника наблюдательных данных

2.1.4. Скрытые переменные

2.1.5. Генеративные и дискриминантные методы

2.2. Разработка генеративных и дискриминантных методов для различных этапов формирования визуальных понятий

2.2.1. Метод выделения объектов интереса на изображении

2.2.2. Метод построения дескриптора визуальных слов

2.2.3. Метод установления зависимости между визуальными и лексическими единицами

Выводы по второй главе

Глава 3. Разработка алгоритмов для системы обучения визуальным понятиям

3.1. Общее описание системы

3.2. Основные этапы работы системы

3.3. Алгоритм формирования словаря визуальных слов

3.4. Алгоритм разметки сцен кадра

3.5. Алгоритм выделения ключевых точек на основе словаря визуальных слов (алгоритм детектора ключевых точек)

3.6. Алгоритм сегментации на основе словаря визуальных слов

3.7. Алгоритм отбора ключевых точек на основе поля оптического потока

3.8. Алгоритм лексико-семантического обучения

3.9. Алгоритм установления зависимости визуальных слов и лексем по заданной сцене

3.10. Алгоритм распознавания визуальных понятий

Выводы по третьей главе

Глава 4. Система обучения визуальным понятиям

4.1. Общее описание режимов работы системы

4.2. Режимы работы СОВП

4.2.1. Основные настройки СОВП

4.2.2. Режим раннего зрительного обучения

4.2.3. Режим вторичного обучения

4.2.4. Режим распознавания

4.2.5. Графическое отображение результатов обучения

Выводы по четвертой главе

Глава 5. Экспериментальное исследование системы обучения визуальным понятиям

5.1. Оценка качества формирования словаря визуальных слов

5.2. Оценка стабильности детектора визуальных слов

5.3. Оценка результатов лексико-семантического обучения

5.4. Оценка результатов распознания

5.4.1. Распознавание с использованием режимов детектора БиК^^ОКО и УК^^ЯБ

5.4.2. Оценка результатов распознавания при использовании размеченных данных

Выводы по пятой главе

Заключение

Список литературы

Используемые сокращения

• ВП - визуальное понятие

• ДВС - дескриптор визуального слова

• МАВ - максимум апостериорной вероятности

• МП - максимум правдоподобия

• СОВП - система обучения визуальным понятиям

• BoW - bag of words

• SURF - speeded up robust features

Введение диссертации (часть автореферата) на тему «Генеративные и дискриминантные вероятностные методы обучения визуальным понятиям»

Введение

Актуальность темы исследований и степень ее разработанности

В настоящее время анализу изображений уделяется большое внимание, разрабатываются различные методы и подходы, позволяющие строить описания наблюдаемых сцен. Несмотря на появление современных методов построения многоуровневых описаний изображений, все еще сохраняется проблема «семантического разрыва», и проблема построения семантически-осмысленных описаний по-прежнему остается актуальной.

Традиционные методы анализа изображений используют фиксированные способы описания и не решают проблему семантического разрыва, поэтому в последнее время все более актуальной становится задача построения визуальных понятий. Задача построения визуальных понятий не является новой, но во многих существующих системах используются априорно заданные, вручную разработанные представления изображений, что ограничивает возможности таких систем к анализу изображений.

Многие современные системы анализа изображений используют подходы, основанные на обучении. При этом предполагается, что в процессе обучения в визуальном канале можно выделить некоторые признаки, а затем использовать их для того, чтобы связать с отдельными объектами интереса в наблюдаемой сцене. Задача «обучение с учителем» широко используется во многих областях, и часто удается получить хорошие результаты ее решения.

В последнее время все большую популярность приобретает более сложная задача формирования визуальных понятий, использующая подход «обучение без учителя». Важность данной задачи связана с необходимостью анализа большого количества неаннотированных данных. В этом подходе менее очевидно, в отличие от «обучения с учителем», что принимать за критерий оценки обучения. Многие задачи, использующие данный подход,

удается решить лишь в отдельных частных случаях, включающих существенные ограничения.

Задача формирования визуальных понятий затрагивается при решении многих прикладных практических задач, таких как поиск изображений по имеющейся базе, распознавание объектов, детектирование, анализ сцен. В связи с этим актуальным является развитие методов для решения задачи формирования визуальных понятий.

Формирование визуальных понятий может применяться и в более сложных системах; оно, например, может применяться в задачах разработки самообучающихся робототехнических систем. Более того, решение данной задачи приводит к построению автоматизированных методов анализа неразмеченных данных, что является необходимым при использовании больших баз данных с неразмеченной информацией. Еще одним интересным использованием задачи формирования визуальных понятий является разработка сложных автоматизированных человеко-машинных интерфейсов.

Таким образом, проблема формирования визуальных понятий широко распространена и ее решение в настоящее время актуально, поэтому появляется необходимость разрабатывать новые более широко применимые подходы, позволяющие строить описания, основанные на семантических признаках.

Цель

Цель диссертационной работы состоит в разработке методов формирования визуальных понятий при совместном использовании визуального и лексического потоков информации на основе объединения генеративного и дискриминантного подходов.

Задачи работы

Для достижения поставленной цели было необходимо решить следующие задачи.

• Провести анализ предметной области и рассмотреть задачи формирования визуальных понятий в контексте синтеза двух неразмеченных потоков информации с применением генеративного и дискриминантного подходов.

• Провести исследование и разработку аналитических выражений и методов, составляющих решение задачи формирования визуальных понятий.

• Осуществить практическую реализацию системы обучения визуальным понятиям, обладающей способностью к построению визуальных понятий на основе разработанных вероятностных методов.

• Выполнить экспериментальное исследование разработанной системы обучения визуальным понятиям, установить характер формирования визуальных понятий и оценить возможности распознавания визуальных понятий с помощью системы обучения визуальным понятиям.

Методы исследований

Для решения указанных задач в работе применялись методы теории вероятностей и математической статистики, теории информации, машинного обучения, обработки и распознавания изображений.

Научная новизна

• Разработан новый метод построения визуальных понятий по видеоданным с субтитрами, в котором с единых позиций вероятностного вывода представлены этапы сегментации изображения, обнаружения и описания ключевых точек, построения словаря визуальных слов и формирования визуальных понятий как совокупности статистически связанных визуальных слов и лексем.

• Разработаны новые методы сегментации изображений и детектирования ключевых точек по критерию расстояния до визуальных слов в пространстве дескрипторов.

• Предложена новая модификация алгоритма вычисления поля оптического потока, объединяющая алгоритмы детектора ключевых точек SURF и оптического потока Гунера-Фарнебаха.

Практическая значимость

• Предложенный метод формирования визуальных понятий позволяет снизить требования к выполнению ручной разметки для больших баз данных и осуществить автоматизацию процесса аннотирования видеоданных.

• Разработанный подход к формированию визуальных понятий позволяет при совместном использовании видеоданных и субтитров выполнять построение ограниченных семантических описаний изображений без использования аннотированных данных. Данный подход может быть применен в качестве базового для решения задач разработки автоматизированных самообучающихся робототехнических систем и сложных человеко-машинных интерфейсов.

• Разработанный метод обнаружения ключевых точек на основе расстояний до визуальных слов позволяет повысить устойчивость положений детектируемых ключевых точек, что может быть использовано для повышения качества решения различных задач, в том числе, сопоставления изображений.

Достоверность результатов работы

Достоверность полученных в диссертационной работе результатов обеспечивается корректностью используемых методов исследования, математической строгостью преобразований при получении доказательств утверждений и аналитических зависимостей, а также соответствием результатов экспериментальной проверки основным теоретическим положениям и выводам.

Положения, выносимые на защиту

• Использование визуальных слов в качестве промежуточного описания сцен позволяет сформировать представление изображений, применяемое в разработанном детекторе ключевых точек и алгоритме сегментации; при этом данное представление единожды строится в результате раннего зрительного обучения и далее может применяться в процессе обучения новым визуальным понятиям.

• Выведенные в рамках объединенного генеративно-дискриминантного подхода аналитические выражения позволяют без использования процедуры сэмплирования оценивать апостериорные вероятности совместного появления визуальных слов и лексем с точностью, достаточной для выявления связей между ними.

• Разработанный метод детектирования ключевых точек на основе их близости к визуальным словам в пространстве SURF-дескрипторов обладает более высокой устойчивостью выделяемых ключевых точек по сравнению с детектором ключевых точек SURF.

• Задача формирования визуальных понятий решается разработанной системой обучения визуальным понятиям путем синтеза двух неразмеченных информационных потоков с возможностью последующего корректного распознавания визуальных понятий на видеопоследовательностях с вероятностью до 95 процентов.

Личный вклад автора

Все результаты диссертационного исследования получены автором лично или при его непосредственном участии.

Реализация результатов работы

Результаты диссертационной работы были использованы при выполнении работ по НИР «Исследование проблем формирования, анализа и представления

изображений в информационных системах на основе интеллектуальных технологий» (источник: централизованные средства НИУ ИТМО), 2012-2013 гг., тема № 411398; НИР «Исследование проблем распознавания изображений в информационных системах и построение теории синтеза алгоритмов распознавания на основе интеллектуальных технологий», 2012 г., тема № 12352; НИР «Исследование методов формирования и интерпретации изображений объектов в обучаемых интеллектуальных системах» (Государственное задание образовательным организациям высшего образования, проектная часть), 2014-2016 гг., тема № 14701, а также при постановке и проведении ОКР «Зигзаг-К-ОЭ» и ОКР «Коралл-М», проводимых в ОАО «Корпорация «Комета» - «НПЦ ОЭКН».

Акты внедрения приложены к диссертации.

Публикации

По материалам диссертации опубликовано 8 научных работ, в том числе 4 статьи из перечня ВАК РФ (включая 3 статьи, опубликованные в рецензируемых научных журналах из базы цитирования Scopus) и 2 свидетельства о государственной регистрации программы для ЭВМ.

1. Filatov V. Concept-based lexical-semantic unsupervised learning system // Journal of Physics: Conference series. 2014. Vol. 536. No. 1. P. 12-16.

2. Филатов В.И., Потапов А.С. Сравнение вероятностных языков программирования на примере решения задач кластеризации и выделения признаков // Оптический журнал. 2015. Т. 82. № 8. С. 542-550.

3. Филатов В.И., Потапов А.С. Система обучения визуальным понятиям на основе соотнесения лексем и ключевых точек // Научно-технический вестник информационных технологий механики и оптики. 2016. Т. 16. № 4. С. 258-265.

4. Филатов В.И. Методы обработки изображений на графических процессорах общего назначения с параллельной архитектурой // Оптический журнал. 2012. T. 79. № 11. С. 53-58.

5. Филатов В.И. Разработка алгоритмов обучения визуальным понятиям на основе признакового анализа изображений // Альманах научных работ НИУ ИТМО. 2014. С. 402-404.

6. Филатов В.И. Автоматизированная лексико-семантическая система обучения понятиям // Молодые ученые НИУ ИТМО. 2013. С. 261-267.

7. Филатов В.И. Компьютерная система «Автоматизированная лексико-семантическая система искусственного интеллекта (АЛССИИ)». Свидетельство о государственной регистрации программы для ЭВМ № 2013618852. Роспатент 2013. 19.09.13.

8. Филатов В.И., Потапов А.С. Компьютерная система «Система обучения визуальным понятиям на основе соотнесения ключевых точек и лексем (СОВП)». Свидетельство о государственной регистрации программы для ЭВМ № 2016619489. Роспатент 2016. 22.08.16.

Апробация работы

Основные результаты работы докладывались на следующих научных конференциях:

V Всероссийский конгресс молодых ученых (работа отмечена дипломом за лучший доклад), XLIV научная и учебно-методическая конференция НИУ ИТМО, XXIII Научно-техническая конференция «Сложные автоматизированные информационно-управляющие системы» (работа отмечена дипломом за лучший доклад), III Всероссийский конгресс молодых ученых, XLIII научная и учебно-методическая конференция НИУ ИТМО.

Структура и объем диссертации

Диссертация состоит из введения, пяти глав, заключения и списка цитируемой литературы. Она содержит 153 страницы машинописного текста, 44 рисунка и 12 таблиц. Список цитируемой литературы состоит из 143 наименований.

Во введении обосновывается актуальность темы исследования и сформулированы цель, научная новизна и практическая значимость работы. Указываются основные положения, выносимые на защиту, приводится краткое содержание разделов диссертации.

В первой главе осуществляется классификация постановок задач формирования визуальных понятий и основанных на них методов. Приводится обзор часто используемых задач, сопряженных с необходимостью построения визуальных понятий. Указываются основные преимущества и недостатки существующих подходов формирования визуальных понятий. На основе проведенного анализа выявляется актуальная формулировка задачи формирования визуальных понятий и перспективный подход к ее решению.

Во второй главе вводятся основные теоретические положения для синтеза генеративных и дискриминантных методов. С этой целью рассматриваются задачи идентификации модели неизвестного источника данных, оценки параметров модели и оценки скрытых переменных, необходимые для формального описания используемых статистических критериев при построении генеративных и дискриминантных методов. В данной главе выводятся аналитические выражения для методов выделения объектов интереса на изображениях, построения дескриптора визуальных слов, установления зависимости между визуальными и лексическими единицами, являющихся компонентами решения задачи формирования визуальных понятий при использовании генеративного и дискриминантного подходов.

Третья глава содержит детальное описание алгоритмов на основе предложенных во второй главе методов формирования визуальных понятий.

Словарь визуальных слов используется в качестве промежуточного уровня описания и строится в алгоритме формирования словаря визуальных слов (первичное обучение). В главе описывается использование словаря визуальных слов в предложенных алгоритмах выделения ключевых точек, сегментации, лексико-семантического (вторичного) обучения и распознавания.

В четвертой главе приводится подробное описание разработанной системы обучения визуальным понятиям, построенной с использованием предложенных в третьей главе алгоритмов. Демонстрируются основные режимы работы системы. Приводятся примеры ее использования на тестовых данных. Также указываются дополнительные функции разработанной системы и примеры графического отображения результатов обучения системы.

В пятой главе выполняется экспериментальное исследование разработанной системы и анализ результатов работы алгоритмов, применяемых в системе. Проводится сравнение качества работы детекторов ключевых точек БиКР^ОКО и У^^ОКО на основе оценки стабильности точек и теоретико-информационных критериев. Вычисляются оценки качества формирования словаря визуальных слов, этапов первичного и вторичного обучения и распознавания применительно к задаче обучения визуальным понятиям. Для этого используется набор тестовых видеофайлов с субтитрами.

В заключении приводятся основные результаты работы и формулируются основанные на них выводы. Утверждается, что поставленная в диссертационной работе цель была достигнута. При этом получен ряд значимых теоретических и практических результатов.

Глава 1. Анализ существующих подходов формирования визуальных понятий

Проблема интерпретации сцен затрагивается во многих областях научных исследований. Часто предполагается, что эта проблема связана с наличием «семантического разрыва» [1, 2], образованного из-за различия в описании объектов с помощью лингвистических и визуальных представлений.

Однако в области компьютерных наук данную концепцию часто связывают с разным уровнем представления описаний объектов при анализе изображений человеком и компьютерной системой. В то время как для компьютера изображение представляется в виде набора яркостей отдельных пикселей, человек может наблюдать объекты сцен, их взаимное положение. Задача отделения объектов от заднего фона также просто решается человеком, в то время как для компьютерных систем эта задача сложна и существующие решения обладают рядом существенных ограничений.

Одним из способов сокращения «семантического разрыва» является построение признаков разного уровня абстракции: низкоуровневых, промежуточных описаний, высокоуровневых или семантических. В отличие от низкоуровневых признаков (цвет, форма, текстура) и промежуточных представлений, построенных на основе низкоуровневых, семантическое описание позволяет учитывать информацию о контексте анализируемых сцен и объектах сцен.

Семантическое описание подразумевает возможность формирования отдельных понятий, в том числе и визуальных, которые часто применяются для задач детектирования и распознавания объектов интереса. В качестве примеров работ, в которых строятся высокоуровневые описания с использованием современных методов анализа сцен и обработки изображений, можно привести работы [3, 4, 5].

Одной из подзадач, в которой проявляются основные проблемы интерпретации сцен, включая проблему «семантического разрыва», является задача формирования визуальных понятий.

Визуальным понятием (ВП) будем называть информационную структуру, позволяющую связывать фрагменты изображения с объектами в кадре которым назначаются лексические метки.

Построение визуальных понятий необходимо для решения широкого спектра задач машинного обучения и компьютерного зрения. В каждом отдельном случае решение может основываться на различных методах и представлениях.

Приведем наиболее часто встречающиеся задачи, требующие для своего решения формирования понятий:

• задачи поиска изображения по имеющейся базе [6, 7];

• задачи распознавания объектов [3, 8, 9];

• задачи детектирования [8, 10, 11];

• задачи анализа (интерпретации) сцен [12, 13].

Таким образом, задача формирования визуальных понятий представляется весьма актуальной.

Проанализировав существующие подходы и методы формирования понятий, можно выделить несколько основных параметров для классификации имеющихся решений. Укажем основные варианты постановки задач формирования визуальных понятий:

• использование аннотированных или неразмеченных данных;

• использование визуального канала или синтеза нескольких каналов, связанных по времени,

а также основные варианты деления самих подходов:

• использование различных представлений изображений, в частности признаковых, структурных, иерархических, для анализа сцен;

• использование детерминистского или вероятностного подхода.

Далее детально рассмотрим указанные выше варианты постановки задач и основные варианты деления подходов.

1.1. Подходы на основе аннотированных и неаннотированных данных

Для решения задач распознавания и детектирования объектов могут использоваться низкоуровневые признаки, извлекаемые из визуального канала (цвет, текстура, форма объектов) [14-17]. Однако для анализа сложных сцен необходимо дополнительное описание, включающее контекст объектов, присутствующих на сценах. Для этого необходимо использовать высокоуровневые семантические признаки. Часто в данные включают дополнительные текстовые метки, описывающие семантику сцен. Помимо текстовых меток иногда указывается информация о положениях объектов на сцене (выполняется разметка сцен), например, в виде отдельных прямоугольных областей вокруг объектов интереса на изображении.

На практике многие существующие подходы, использующие размеченные данные, можно разделить на два основных типа (рис. 1.1), применимых для формирования визуальных понятий:

• частично размеченные данные;

• полностью размеченные данные.

Рисунок 1.1. Классификация методов формирования визуальных понятий по

типу анализируемых данных

Во многих работах [18, 19] успешно применяются методы, использующие полностью размеченные данные, полученные путем их разметки вручную. Основная идея заключается в добавлении простого семантического описания (для каждого изображения в базе задается набор текстовых меток) для того, чтобы впоследствии создать набор отдельных классификаторов (бинарные классификаторы, метод опорных векторов) [20, 21] или их объединения (ансамбли, композиции классификаторов) [22]. При этом в визуальном канале в большинстве случаев выполняется построение низкоуровневых признаков. Идея состоит в вычислении отдельных характеристик (гистограмма цвета, текстурные признаки) изображения или его областей для того, чтобы по наборам полученных признаков установить различия между отличимыми объектами.

В основном аннотированные данные используются для задач категоризации, поиска изображений по текстовому запросу, индексирования содержимого баз. В них учитываются лишь простые семантические описания, для более сложных задач могут применяться методы, основанные на иерархических признаках, нейронных сетях и других представлениях.

В работе [23] указывается метод построения семантических понятий, связанных с различными категориями, описывающими сцену целиком: пляж, лес, город, море и другие. Также часто встречаются методы, использующие аннотированные данные для поиска изображений в базе по заданной текстовой метке [24, 25, 26]. Для этого необходимо анализировать огромные объемы информации. Так как процесс ручной разметки трудоемок (например, трудозатратность ручной разметки большой базы данных), и его результат субъективен и зависит от качества текстовых меток, возникает необходимость применения альтернативных методов, упрощающих процесс аннотирования.

В работе [27] упоминается термин «частично размеченные» данные. При этом для аннотирования данных применяется информация социальных сервисов, таких как РНекг, УоиШЬе. Текстовые метки задаются не отдельным

экспертом, а через социальные сервисы. Основная идея заключается в том, что процесс разметки выполняется многими независимыми пользователями, что значительно ускоряет общий процесс. Использование таких источников может приводить к появлению некорректных описаний в данных, ряду ошибок и неточностей, что в совокупности дает существенное снижение точности полученных результатов в задачах использующих аннотированные данные.

Для задачи формирования визуальных понятий также могут быть использованы и неразмеченные данные. В таком случае предполагается возможность или автоматической разметки данных (на основе информации, содержащейся в визуальном канале), или выбора другого варианта постановки решаемой задачи (например, использование синтеза аудио-видео данных, позволяющего автоматизировать процесс формирования лексем, которые могут быть использованы в качестве меток).

В статьях [28, 29] указываются методы, позволяющие автоматизировать процесс аннотирования данных на основе признакового подхода. С этой целью из изображений извлекается набор признаков, и осуществляется построение нескольких классификаторов. При этом каждому отдельному классификатору соответствует одна или несколько меток.

В настоящее время во многих эффективных подходах категоризации меток используются «визуальные слова», формируемые в виде кодовых слов, гистограмм встречаемости отдельных признаков на основе модели «мешка слов» (BoW, Bag of Words) [30-32]. Признаки на основе BoW не позволяют учитывать пространственное расположение «визуальных слов» на изображениях, что является одним из ограничений для задач интерпретации сцен.

Нередко в литературе описываются методы, использующие вероятностный подход и позволяющие расширить возможности формирования визуальных понятий. В работе [33] применяется метод латентного размещения Дирихле. Основная идея заключается в применении совокупности скрытых

переменных, описывающих вероятности появления текстовых меток и их областей на изображении.

В работах [34-36] используется вероятностный непараметрический подход, в котором вероятности появления слов (текстовых меток) устанавливаются на основе тренировочной выборки.

Помимо прочего, для аннотирования в ряде работ [37, 38] применяются иерархические структуры. В таком случае имеющиеся метки образуют «дерево классов», что позволяет проводить многоуровневую классификацию. Использование иерархического подхода позволяет в ряде случаев выполнять процесс аннотирования автоматически [39], при этом наблюдается ряд ограничений, обуславливающих возможности формирования и использования семантических меток.

В общем случае аннотирование данных позволяет осуществлять поиск в базах изображений, проводить категоризацию изображений простых сцен, учитывать структуру отношений между отдельными семантическими метками.

Вероятностные методы формирования визуальных понятий позволяют улучшать качество получаемых меток за счет использования дополнительных параметров, учитывающих положение объекта интереса в кадре и контекст анализируемых сцен.

Несмотря на успешность применения подхода, основанного на аннотировании данных, в задачах, связанных с процессом формирования визуальных понятий, можно выделить три основных недостатка:

• процесс ручной разметки данных требует человеческого участия, сложен, субъективен, трудозатратен и подвержен ряду ошибок;

• отсутствует возможность масштабирования процесса (в каждом новом исследовании необходимо заново размечать данные);

• текстовые метки не позволяют в полной мере описать контекст и детали сцен.

1.2. Подходы на основе использования различных каналов информации

Информации, содержащейся в визуальном канале для задач анализа сцен, часто бывает недостаточно для формирования визуальных понятий, поэтому появляется необходимость в привлечении других каналов информации (например, аудио или текста).

Классификация методов формирования визуальных понятий по типу привлекаемой информации представлена на рис. 1.2. Она включает методы формирования визуальных понятий только на основе информации визуального канала и методы, расширяющие возможности построения описаний на основе использования других информационных каналов.

Список литературы диссертационного исследования кандидат наук Филатов, Владислав Игоревич, 2016 год

Список литературы

1. Deng D. Braving the semantic gap: mapping visual concepts from images and videos // Advances in data mining. 2005. Vol. 3275. P. 50-59.

2. Rho S., Yeo S. Bridging the semantic gap in multimedia emotion/mood recognition for ubiquitous computing environment // The Journal of supercomputing. 2013. Vol. 65. No. 1. P. 274-286.

3. Ko B., Peng J., Byun H. Region-based image retrieval using probabilistic feature relevance learning // Pattern analysis and application. 2001. Vol. 4. No. 2. P. 174-184.

4. Rahman M., Bhattacharya P., Desai B. A unified image retrieval framework on local visual and semantic concept-based feature spaces // Journal of visual communication and image representation. 2009. Vol. 20. No. 7. P. 450-462.

5. Skocaj D., Berginc G., Ridge B., Vanek O., Hutter M., Hewes N. A system for continuous learning of visual concepts // International conference on Computer Vision Systems ICVS. 2007.

6. Elleuch N., Ammar A., Alimi A. A generic framework for semantic video indexing based on visual concepts/contexts detection // Multimedia tools and application. 2015. Vol. 74. No. 4. P. 1397-1421.

7. Snoek C., Smeulders A. Visual-concept search solved? // IEEE computer. 2010. Vol. 43. No. 6. P. 76-78.

8. Ito S., Yoshioka M., Omatu S., Kita K., Kugo K. An image recognition method by rough classification for a scene image // Artificial life and robotics. 2006. Vol. 10. No. 2. P. 120-125.

9. Протасов К.Т., Рюмкин А.И. Непараметрический алгоритм распознавания объектов подстилающей поверхности земли по данным аэрокосмической съемки // Вестник Томского государственного университета. 2002. № 275. С. 41-46.

10. Deselaers T., Hanbury A. The visual concept detection task in ImageCLEF 2008 // Evaluating Systems for Multilingual and MultiModal Information Access 9th

workshop of the Cross-Language Evaluation Forum. LNCS. 2008. Vol. 5706. P. 531— 538.

11. Novak S., Dunker P. Overview of the CLEF 2009 Large-Scale Visual Concept Detection and Annotation Task // Proceedings of the 10th workshop of the Cross-Language Evaluatio Forum. LNCS. 2009.

12. Liu Y., Zhang J., Tjondronegoro D., Geva S., Li Z. Mid-level concept-learning with visual contextual ontologies and probabilistic inference for image annotation.

13. Belkhatir M. Combining visual semantics and texture characterizations for precision-oriented automatic image retrieval. 2005. // Advances in Information Retrieval. Vol. 3408 of the series Lecture Notes in Computer Science. P. 457-474.

14. Amato G., Mainetto G., Savino P. An approach to a content-based retrieval of multimedia data // Multimedia Tools and Applications. 1998. Vol. 7. P. 9-36.

15. Etievent E., Lebourgeous F., Jolion J. Assisted video sequences indexing: motion analysis based on interest points // Proceedings of ICIAP. 1999. P. 27-29.

16. Fablet R., Bouthemy P. Statistical motion-based video indexing and retrieval // Proceeding of the conference on content-based multimedia information access RIAO. 2000. P. 602-619.

17. Ту Д., Гонсалес Р. Принципы распознавания образов // М.: Мир. 1978. -412 с.

18. Ulges A., Borth D., Breuel M. Visual concept learning from weakly labeled web videos. // Video search and mining. 2010. P. 203-232.

19. Song X., Lin C., Sun M. Automatic visual concept training using imperfect cross-modality information. // Intelligent Multimedia Processing with Soft Computing. 2005. Vol. 168 of the series Studies in Fuzziness and Soft Computing. P. 109-128.

20. Cortes C., Vapnik V. Support-vector network // Machine Learning. 1995. Vol. 20. No. 3. P. 273-297.

21. Fergus R., Fei-Fei L., Perona P., Zisserman A. Learning object categories from Google's image search // Proc. 10th ICCV, 2005. V. 2. P. 1816-1823.

22. Torralba A., Murphy K. Sharing features: efficient boosting procedures for multiclass object detection. // Computer Vision and Pattern Recognition. 2004. P. 762769.

23. Spyrou E., Tolias G., Mylonas P., Avrithis Y. Concept detection and keyframe extraction using a svisual thesaurus. // Multimedia Tools and Applications. 2009. P. 337-373.

24. Zhao R., Grosky W. Bridging the Semantic Gap in Image Retrieval. Distributed Multimedia Databases: //Techniques and Applications, 2001, pp. 14-36.

25. Tollali S., Detyniecki M., Marsala C. Exploiting visual concepts to improve text-based image retrieval // Advanced in Information Retrieval. LNCS. 2009. Vol. 5478. P. 701-705.

26. Проскурин А.В. Автоматическое аннотирование ландшафтных изображений // Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева. 2014. Т. 55. № 3. С. 120-125.

27. Li Z. Learning visual concepts from social images: Master thesis. Leiden Institute of Advanced Computer Science. 2011. - 18 p.

28. Rudinac S., Larson M., Hanjalic A. Leveraging visual concepts and query performance prediction for semantic-theme-based video retrieval // IJMIR. 2012. Vol. 1. P. 263-280.

29. Davvala S., Farhadi A., Guestrin C. Learning everything about anything: Webly-supervised visual concept learning // Computer Vision and Pattern Recognition. 2014.

30. Sande K., Gevers T., Smeulders A. The University of Amsterdam's Concept Detection System at ImageCLEF 2009 // CLEF working notes. 2009.

31. Dance C., Willamowski J., Fan L., Bray C., Csurka G. Visual categorization with bags of keypoints. // In: ECCV - international workshop on statistical learning in computer vision. 2004.

32. Zhuang X., Wu S., Natarajan P. Compact bag-of-words visual representation for effective linear classification // Proceeding of the 21st ACM international conference on multimedia. 2013. P. 521-524.

33. Blei D., Jordan M. Modeling annotated data // ACM SIGIR. 2003. P. 127-134.

34. Feng S., Manmatha R., Lavrenko V. Multiple Bernoulli relevance models for image and video annotation // In Proceedings of CVPR. 2004. P. 1002-1009.

35. Iyengar G. Joint visual-text modeling for automatic retrieval of multimedia documents // In Proceedings of ACM MM. 2005 P. 21-30.

36. Liu J. Dual cross-media relevance model for image annotation // In Proceedings of ACM MM. 2007. P. 605-614.

37. Srikanth M. Exploiting ontologies for automatic image annotation // In Proceedings of ACM SIGIR. 2005. P. 1349-1380.

38. Jin Y. Image annotations by combining multiple evidence and WordNet // In Proceedings of ACM MM. 2005. P. 706-715.

39. Liu C., Zheng Y., Gong S. Image categorization using a semantic hierarchy model with sparse set of salient regions // FCS. Vol. 7. No. 6. 2013. P. 838-851.

40. Sudhir G., Lee J. Automatic classification of tennis video for high-level content-based retrieval. // In Proc. the IEEE International Workshop on Centent-based Access of image and video database. 1998. P. 81-90.

41. Miyamori H., Iisaku S. Video annotation for content-based retrieval using human behavior analysis and domain knowledge. // In Proc. the forth IEEE International conference on automatic face and gesture recognition. 2000. P. 320-325.

42. Nepal S., Srinivasan U., Reynolds G. Automatic detection of goal segments in basketball videos. // In Proc ACV International conference on Multimedia. 2001. P. 261-269.

43. Lazarescu M.,. Venkatsh S., West G. On the automatic indexing of cricket using camera motion parameters. // In Proc. IEEE International conference on Multimedia and Expo. 2002. P. 809-813.

44. Sadlier D., Connor N. Event detection in field sports video using audio -visual features and a support vector machine.

45. Sidiropoulos P., Mezaris V., Kompatsiaris I., Trancoso I. Temporal video segmentation to scenes using high-level audiovisual features. // IEEE Transactions on Circuits and systems for video technology. Vol. 21. No. 8. 2011. P. 1163-1177.

46. Yeh J., Wu C., Mai S. Multiple visual concept discovery using concept-based visual word clustering. // Multimedia Systems. 2013. P. 381-393.

47. Fuxin L., Taeyoung K, Ahmad H. Video segmentation by tracking many figure-ground segments // In Proceedings FliICCV2013. 2013.

48. Rothganger F., Lazebnik S., Schmid C, Ponce J. Segmenting, modeling and matching video clips containing multiple moving object // Proceeding of the 2004 IEEE computer society conference on Computer Vision and Pattern Recognition. 2004. P. 914-921.

49. Krishna M., Bodesheim P., Korner M. Temporal video segmentation by event detection: a novelty detection approach // Pattern Recognition and Image Analysis. 2014. Vol. 24. No. 2. P. 243-255.

50. Lee Y., Kim J., Grauman K. Key-segments for video object segmentation // In Proceedings of the IEEE International conference on Computer Vision. 2011.

51. Шитова О.В., Пухляк А.Н., Дроб Е.М. Анализ методов сегментации текстурных областей изображений в системах обработки изображений // Научные ведомости Белгородского государственного универсистета. Серия: Экономика. Информатика. 2014. Т. 30. № 179. С. 182-188.

52. Новиков Н.А. Сегментация изображений с использованием древовидной аппроксимации кластеров в многомерном признаковом пространстве // Сборник конкурсных работ «Эврика-2009». 2010. С. 41-43.

53. Feng Y., Xiao J., Zhuang Y., Liu X. Adaptive unsupervised multi-view feature selection for visual concept recognition. // ACCV 2012. Vol. 7724 of the series Lecture Notes in Computer Science. P. 343-357.

54. Weber M., Welling M., Perona A. Unsupervised learning of models for recognition. // In Proc. ECCV. 2000. P. 18-32.

55. Guha P., Mukerjee A. Unsupervised language learning for discovered visual concepts. // ACCV 2012. 2012. Vol. 7727 of the series Lecture Notes in Computer Science. P. 524-537.

56. Almaadeed N., Aggoun A., Amira A. Audio-visual feature fusion for speaker identification // Neural Information Processing. 2012. Vol. 7663. P. 56-67.

57. Viola P., Jones M. Robust real-time face detection // International Journal of Computer Vision. 2004. Vol 57. P. 137-154.

58. Chang S. Large-scale multimodal semantic concept detection of consumer video // ACM MIR. 2007. P. 255-264.

59. Sargin M. Audiovisual celebrity recognition in unconstrained web videos // IEEE ICASSP. 2009.

60. Turk M., Pentland A. Eigenfaces for Recognition // Journal of Cognitive Neuroscience. 1991. Vol. 3. P. 71-86.

61. Boujelbenne S., Mezghani D., Ellouze N. Improved feature data for robust speaker identification using hybrid Gaussian mixture models - sequential minimal optimization system // The International review on computers and software (IRECOS). 2009. Vol. 4. P. 344-350.

62. Eyben F., Wollmer M., Valstar M., Gunes H., Schuller B., Pantic M. String-based audiovisual fusion of behavioural events for the assessment of dimensional affect // Proceedings of IEEE international conference on automatic face and gesture recognition. 2011. P. 322-329.

63. Jiang W., Loui A. Video concept detection by audio-visual grouplets // International Journal of multimedia information retrieval. 2012. Vol. 1. No. 4. P. 223238.

64. Giannakopoulos T., Makris A., Kosmopoulos S., Theodoridis S. Audio-visual fusion for detecting violent scenes in videos // Artificial Intelligence: Theories, models and applications. 2010. Vol. 6040. P. 91-100.

65. Lin W., Hauptmann. New video classification using svm-based multimodal classifiers and combination strategies. // Proceedings of the tenth ACM international conference on Multimedia. 2002. P. 323-326.

66. Soysal M., Tekin M., Esen E. Multimodal concept detection in broadcast media: KavTan // Multimedia Tools and Applications. 2014. Vol. 72. No. 3. P. 27872832.

67. Roy D. Learning from sights and sounds: a computational model: PhD thesis. Department of media arts and sciences, MIT. 1999. - 176 p.

68. Roy D., Pentland A. Learning words from sights and sounds: a computational model // Cognitive Science. 2002. Vol. 26. No. 1. P. 113-146.

69. Филатов В. Автоматизированная лексико-семантическая система обучения понятиям // Научные работы участников конкурса «Молодые ученые НИУ ИТМО». 2013. С. 261-267.

70. Филатов В.И. Компьютерная система «Автоматизированная лексико-семантическая система искусственного интеллекта (АЛССИИ)». Свидетельство о государственной регистрации программы для ЭВМ № 2013618852. Роспатент 2013. 19.09.13.

71. Naphade M., Huang T. A probabilistic framework for semantic video indexing, filtering and retrieval over the internet // IEE Transactions on multimedia. 2001. Vol 3. No. 1. P. 141-151.

72. Adams W., Iyengar G., Naphade M., Neti C. Semantic indexing of multimedia content using visual, audio, and text cues // EURASIP Journal on applied signal processing. 2003. Vol. 2. P. 170-185.

73. Глумов Н.И., Мясников Е.В. Метод отбора информативных признаков на цифровых изображениях // Компьютерная оптика. 2007. Т. 31. № 3. С. 73-76.

74. Kadir T., Brady M. Saliency, scale and image description // International Journal of Computer Vision. 2001. Vol. 45. No. 2. P. 83-105.

75. Bay H., Ess A., Tuytelaars T., Gool L. Speed-up robust features // Computer vision and image understanding. 2008. Vol 110. P. 346-359.

76. Lowe David G. Object recognition from local scale-invariant features // International Conference of Computer Vision, Corfu, Greece, September 1999. P. 1150-1157.

77. Ethan R., Rabaud V., Konolige K., Bradski G. ORB: an efficient alternative to SIFT or SURF // ICCV Proceedings of the 2011 International conference on Computer Vision. 2011.

78. Calonder M. BRIEF: computing a local binary descriptor very fast // Pattern analysis and machine intelligence. 2012. Vol. 34.

79. Alahi A., Ortiz R., Vandergheynst P. Freak: fast retina keypoints // Conference on Computer Vision and Pattern Recognition. 2012.

80. Feng Xu, Lei Zhang, Yu-Jin Zhang, Wei-Ying Ma. Salient feature selection for visual concept learning. // Advances in Multimedia Information Processing. 2005. Vol. 3767 of series Lecture Notes in Computer Science. P. 617-628.

81. Lowe David G. Distinctive image features from scale-invariant keypoints // International Journal of Computer Vision. 2004. V. 60. N 2. P. 91-110.

82. Иванов П.И., Маничев А.Э., Потапов А.С. Методы выделения контуров и описания ключевых точек при сопоставлении цветных изображений // Оптический журнал. 2010. Т. 77. № 11. С. 43-50.

83. Im S., Cho S. Context-based scene recognition using Bayesian networks with scale-invariant feature transform // Advanced concepts for intelligent vision systems. LNCS. 2006. Vol. 4179. P. 1080-1087.

84. Филатов В.И. Разработка алгоритмов обучения визуальным понятиям на основе признакового анализа изображений // Альманах научных работ НИУ ИТМО. 2014. С. 402-404.

85. Leung T., Malik J. Representing and recognizing the visual appearance of materials using three-dimensional textons // International Journal of Computer Vision. 2001. Vol. 43. No. 1. P. 29-44.

86. Jurie F., Triggs B. Creating efficiency codebooks for visual recognition // IEEEE International Conference on Computer Vision. 2005. P. 604-610.

87. Zhang J., Marszalek M., Lazebnik S., Schmid C. Local features and kernels for classification of texture and object categories: a comprehensive study // International Journal of Computer Vision. 2007. Vol. 73. No. 2. P. 213-238.

88. Juan C., Cruz A., Gonzalez F. Histopathology image classification using bag of features and kernel functions // Artificial intelligence in Medicine. LNCS. 2009. Volume 5651. P. 126-135.

89. Cao J., Lan Y., Li J., Li Q. Intelligent multimedia group of Tsinghua University at TRECVID 2006 // Proceedings of the TRECVID workshop. 2006.

90. Yeh J., Wu C., Chang S. Unsupervised alignment of news video and text using visual patterns and textual concepts // IEEE Trans. Multimed. 2011. Vol. 13. No. 2. P. 206-215.

91. Mickolajczyk K., Schmid C. An affine invariant interest point detector // Proceeding of the European Conference on computer vision. 2002. P. 128-142.

92. Tuytelaars T., Mikolayczyk. Local invariant feature detectors: a survey // Foundations and trends in computer graphics and visions. 2008. Vol. 3. No. 3. P. 177280.

93. Salakhutdinov R. Learning deep generative models: PhD thesis. Department of Computer Science, University of Toronto. 2009. - 84 p.

94. Nair V. Visual object recognition using generative models of images: PhD thesis, Department of Computer Science, University Toronto, 2010. - 92 p.

95. Hershey J. Perceptual inference in generative models: PhD thesis. University of California, San Diego. 2005. - 188 p.

96. Ranzato M. Unsupervised learning of feature hierarchies: PhD thesis. Department of Computer Science, New York University, 2009. - 167 p.

97. Kuremoto T., Kimura S., Kobayashi K., Obayashi M. Time series forecasting using restricted Boltzmann machine // Emerging intelligent computing technology and applications. 2012. Vol. 304. P. 17-22.

98. Chu J., Krzyzak A. Application of support vector machines, convolutional neural networks and deep belief networks to recognition of partially occluded objects // Artificial intelligence and soft computing. LNCS. 2014. Vol. 8467. P. 34-46.

99. Graves A., Fernandez S., Schmidhuber J. Multi-dimensional recurrent neural networks // Artificial neural networks - ICANN. LNCS. 2007. Vol. 4668. P. 549-558.

100. Druzhkov P., Kustikova V. A survey of deep learning methods and software tools for image classification and object detection // Pattern recognition and image analysis. 2016. Vol. 26. No. 1. P. 9-15.

101. Jaderberg M., Simonyan K., Vedaldi A., Zisserman A. Deep structured output learning for unconstrained text recognition // Proceeding ICLR. 2015.

102. Collobert R., Weston J. A unified architecture for natural language processing: deep neural networks with multitask learning // Proceeding of the 25th international conference on Machine Learning. 2008. P. 160-167.

103. Zhu L., Lin C., Huang H., Chen Y., Yuille A. Unsupervised structure learning: hierarchical recursive composition, suspicious coincidence and competitive exclusion // Computer Vision - ECCV. LNCS. 2008 Vol. 5303. P. 759-773.

104. Dimitrovski I., Kocev D., Loskovska S., Dzeroski S. Detection of Visual Concepts and Annotation of Images Using Ensembles of Trees for Hierarchical MultiLabel Classification // Recognizing Patterns in Signal, speech, images and videos. LNCS. 2010. Vol. 3288. P. 152-161.

105. Васильев В.Н., Гуров И.П., Потапов А.С. Анализ особенностей иерархического представления изображений в современных системах компьютерного зрения // Научно-технический вестник информационных технологий, механики и оптики. 2013. № 6. С. 45-49.

106. Fei-Fei L., Fergus R., Perona P. One-shot learning of object categories // IEEE Trans. PAMI. 2006. Vol. 28. No. 4. P. 594-611.

107. Scalzo F., Piater J. Unsupervised learning of visual feature hierarchies // Machine learning and data mining in pattern recognition. LNCS. 2005. Vol. 3587. P. 243-252.

108. Pearl J. Probabilistic reasoning in intelligent systems: networks of plausible inference // Morgan Kaufmann Publishers Inc., San Francisco, CA. 1988.

109. Ranzato M., Boureau Y., Chopra S., Lecun Y. A unified energy-based framework for unsupervised learning // Proceedings of the Conference on AI and Statistics (AISTATS). 2007. Vol. 2. P. 860-867.

110. Cho K. Improved learning algorithms for restricted Boltzmann machines: Master's thesis. Department of Computer and Information Science, Aalto University. 2011. - 97 p.

111. Boureau Y. Learning hierarchical feature extractors for image recognition: PhD thesis. Department of Computer Science, New York University, 2012. - 195 p.

112. Bengio Y., Lamblin P., Popovici D., Larochelle H. Greedy layer-wise training of deep networks // Advances in Neural Information Processing Systems 19. 2007. P. 153-160.

113. Щербаков О.В., Жданов И.Н., Лушин Я.А. Сверточный автоэнкодер как генеративная модель изображений для задач выделения признаков и восстановления изображений в утерянных областях // Оптический журнал. 2015. Т. 82. № 8. С. 48-53.

114. Потапов А.С. Генеративные и вероятностные модели в обработке изображений и компьютерном зрении // Оптический журнал. 2015. Т. 82. № 8. С. 5-10.

115. Филатов В.И., Потапов А.С. Сравнение вероятностных языков программирования на примере решения задач кластеризации и выделения признаков // Оптический журнал. 2015. Т. 82. № 8. С. 542-550.

116. Bernando J., Bayarri M., Berger J., Dawid A., Heckerman D., Smith A., West M. Generative or Discriminative? Getting the best of both worlds // Bayesian statistics. 2007. Vol. 8. P. 3-24.

117. D.Barber. Bayesian Reasoning and Machine Learning. //Cambridge University Press, 2012, p. 590.

118. Lake B., Salakhutdinov R., Gross J., Tenebaum J. One shot learning of simple visual concepts // Proceedings of the 33rd annual conference of the cognitive science society. 2011.

119. Fei-Fei L., Perona P. Learning generative visual models from few training examples: an incremental Bayesian approach tested on 101 object categories // CVPR workshop on generative model based vision. 2004.

120. Zhou X., Zhuang S., Chang S. SIFT-Bag kernel for video event analysis. // In Proc. of the 16the ACM International Conference on Multimedia. 2008. P. 229-238.

121. Csurka G., Perronnin F. Fisher vectors: beyond bag-of-visual-words image representation // Computer vision, imaging and computer graphics. Theory and applications. 2010. Vol. 229. P. 28-42.

122. Sminchisescu C., Jepson A. Generative modeling for continuous non-linearly embedded visual inference // ICML. 2004. P. 759-766.

123. Ding Y., Fan G. Event detection in sports video based on generative-discriminative models // Proceeding of the 1st ACM international workshop on Events in multimedia. 2009. P. 17-24.

124. Xie L., Chang S. Divakaran A., Sun H. Structure analysis of soccer video with hidden Markov models // Proceedings of the International Conference on Acoustic, Speech and Signal Processing. 2002. P. 767-775.

125. Xie L., Chang. S., Divakaran A., Sun H. Unsupervised discovery of multilevel statistical video structures using hierarchical hidden Markov models // Proceedings of the International Conference on multimedia and expo. 2003. P. 29-32.

126. Wang T., Diao Q., Hu W., Zhang Y., Dulong C. Semantic event detection using conditional random fields // Proceedings of the International workshop on semantic learning and applications in multimedia. 2006.

127. Connolly C. Learning to recognize complex actions using conditional random fields // Advances in visual computing. 2007. Vol. 4842. P. 340-348.

128. Osokin A., Vetrov D. Submodular relaxation for Inference in Markov Random Fields // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2015/ Vol. 37. No. 7. P. 1347-1359.

129. Barron J., Fleet D., Beauchemin S. Performance of Optical Flow Techniques // International Journal of Computer Vision. 1994. V. 12. P. 43-77.

130. Lucas B.D., Kanade T. An iterative image registration technique with an application to stereo vision // Proc. 7th IJCAI, 1981. V. 2. P. 674-679.

131. Davis L. Edge detection techniques // Computer graphics image processing. 1995. Vol. 4. P. 248-270.

132. Филатов В.И. Методы обработки изображений на графических процессорах общего назначения с параллельной архитектурой // Оптический журнал. 2012. T. 79. № 11. С. 53-58.

133. Canny J. A Computational approach to edge detection // IEEE Trans. Pattern Anal. Mach. Intell. 1986. Vol. 8. No. 6. P. 679-698.

134. Harris C., Stephens M. A combined corner and edge detection. // Proc of 4th Alvey Vision Conference. 1988. P. 47-151.

135. Baxter R. Minimum message length inference: theory and applications: PhD thesis. Department of Computer Science, Monash University, Clayton, Australia. 1996. - 246 p.

136. Rissanen J. Modeling by the shortest data description // Automatica-J. IFAC. 1978. Vol. 14. P. 465-471.

137. Viranyi P., Li M. Ideal MDL and its relation to Bayesianism // Proc. ISIS: Information, statistics and induction in science. 1996. P. 282-291.

138. Потапов А.С., Малышев И.А., Луцив В.Р. Принцип минимальной длины описания как средство улучшения дискриминантных методов распознавания // Оптический журнал. 2004. Т. 71. № 8. С. 74-80.

139. Farneback G. Two-Frame Motion Estimation Based on Polynomial Expansion // Proc. 9th SCIA Springer, 2003. P. 363-370.

140. Farneback G. Disparity Estimation from Local Polynomial Expansion //Proc. SSAD Symposium on Image Analysis, 2001.

141. Filatov V. Concept-based lexical-semantic unsupervised learning system // Journal of Physics: Conference series. 2014. V. 536. N 1. P. 12-16.

142. Филатов В.И., Потапов А.С. Компьютерная система «Система обучения визуальным понятиям на основе соотнесения ключевых точек и лексем (СОВП)». Свидетельство о государственной регистрации программы для ЭВМ № 2016619489. Роспатент 2016. 22.08.16.

143. Филатов В.И., Потапов А.С. Система обучения визуальным понятиям на основе соотнесения лексем и ключевых точек // Научно-технический вестник информационных технологий механики и оптики. 2016. Т. 16. № 4. С. 258-265.