Адаптивное распознавание и его применение к системе ввода печатного текста тема диссертации и автореферата по ВАК РФ 05.13.01, доктор технических наук Славин, Олег Анатольевич

• Славин, Олег Анатольевич
• доктор технических наук
• 2011

Оглавление диссертации доктор технических наук Славин, Олег Анатольевич

ВВЕДЕНИЕ.

1 АЛГОРИТМЫ РАСПОЗНАВАНИЯ СИМВОЛОВ ПЕЧАТНОГО ТЕКСТА.

1.1 Общие методы распознавания образов.

1.1.1 Нейронные сети.

1.1.2 Многослойный перцептрон.

1.1.3 Сети с радиальными базисными функциями.

1.1.4 Обучающееся векторное квантование.

1.1.5 Иерархическое векторное квантование.

1.1.6 Метод опорных векторов.

1.1.7 Алгебраический подход Ю.И.Журавлева.

1.2 Методы распознавания одиночных символов.

1.2.1 Исходные данные для распознавания символов.

1.2.2 Шрифтовые алгоритмы.

1.2.3 Шрифтонезависимые алгоритмы.

1.3 Выводы по главе.

2 РАСПОЗНАВАНИЕ ПЕЧАТНОГО ТЕКСТА.

2.1 Характеристики качества распознавания символов.

2.2 Комбинирование алгоритмов.

2.3 Алгоритмы распознавания строк символов.

2.3.1 Основные понятия сегментации.

2.3.2 Оценки сегментации и критерии оптимальности.

2.3.3 Некоторые подходы для реализации сегментации.

2.3.4 Способы сокращения перебора вариантов сегментации.

2.3.5 Обсуждение алгоритмов сегментации.

2.4 Характеристики распознавания строки символов.

2.5 Использование базовых линий для распознавания строки символов.

2.6 Использование словарных механизмов.

2.8 Выводы по главе.

3 АДАПТИВНОЕ РАСПОЗНАВАНИЕ.

3.1 Место адаптивного распознавания в системы ввода текстов.

3.2 Формирование обучающей выборки.

3.2.1 Подтверждение надежности распознавания с помощью монотонности.

3.2.2 Подтверждение надежности распознавания с помощью словарей.

3.3 Алгоритмы кластеризации и способы формирования эталонов.

3.4 Модели образа кластера и формирование эталонов.

3.4.1 Модель оцифровки.

3.4.2 Модель образа кластера.

3.5 Исследование влияния сдвигов при сравнении с образом кластера.

3.5.1 Описание задачи.

3.5.2 Описание абстрактной задачи.

3.5.3 Частичное решение задачи 1.

3.5.4 Случай евклидова пространства.

3.5.5 Следствия найденных оценок.

3.5.6 Качественное объяснение рассматриваемого эффекта.

3.6 Модель сжатия бинарного изображения.

3.7 Выводы по главе.

4 МОДЕЛИРОВАНИЕ ПРОЦЕССОВ ОЦИФРОВКИ.

4.1 План вычислительных экспериментов.

4.2 Эксперименты для исследования симметрики с!о.

4.3 Эксперименты для исследования симмстрики d\.

4.4 Эксперименты для оценки зависимости вариантов укладки от выбора опорного элемента при суммировании с помощью симметрики d\.

4.5 Эксперименты для оптимизации плотности укладки сумм, подсчитанных с помощью симметрики d\.

4.6 Эксперименты для оценки зависимости вариантов укладки от выбора опорного элемента при суммировании с помощью симметрики d\ и использования пороговой модели образа кластера.

4.7 Эксперименты по оценке влияния случайных искажений формы на распределения значений точек образов кластеров.

4.9 Комбинирование использования симметрик do и d\.

4.5 Выводы по главе.

5 АЛГОРИТМЫ ПОИСКА ШРИФТОВ И РАСПОЗНАВАНИЯ СИМВОЛОВ С ПОМОЩЬЮ КЛАСТЕРОВ.

5.1 Определение шрифтов в распознанном тексте.

5.2 Поиск шрифтов в наборе кластеров.

5.3 Оценка состава найденных шрифтов.

5.4 Использование шрифтов при сжатии бинарных изображений.

5.5 Алгоритм распознавания образов с помощью набора образов кластеров.

5.6 Комбинирование результатов шрифтонезависимого распознавания и сравнения с набором образов кластеров.

5.7 Выводы по главе.

6 РЕАЛИЗАЦИЯ АДАПТИВНОГО РАСПОЗНАВАНИЯ В СИСТЕМЕ ВВОДА ПЕЧАТНЫХ ТЕКСТОВ.

6.1 Описания возможностей системы ввода печатных текстов Cuneiform.

6.2 Основные понятия.

6.2.1 Представление символа.

6.2.2 Представление строки.

6.2.3 Представление слова.

6.2.4 Результаты распознавания групповых объектов.

6.2.5 Модуль.

6.3 Интерфейсные модули.

6.3.1 Контейнер изображения CImage.

6.3.2. Контейнер строки CString.

6.3.3 Контейнер обучения Ctb.

6.4 Служебные модули.

6.4.1 Пользовательский отладчик SNAP.

6.4.2 Утилиты работы с контейнером обучения.

6.5 Модули алгоритмов распознавания образа символа.

6.5.1 Автономные модули распознавания образа символа.

6.5.2 Комбинирование алгоритмов распознавания символов.

6.6 Модули распознавания строки.

6.6.1 Модули поиска характ еристик текста.

6.6.2 Модули критериев.

6.6.3 Модули сегментации границ.

6.6.4 Модуль распознавание атрибутов символов Strattributes.

6.6.5 Модули лингвистической обработки StrLingvo.

6.6.6 Модуль двуязычного распознавания строки Str21ang.

6.6.7 Модуль адаптивного распознавания PageFon.

6.7 Схема взаимодействия модулей.

6.8 Описание приложений с реализациями алгоритмов адаптивного распознавания.

6.9 Выводы но главе.

Введение диссертации (часть автореферата) на тему «Адаптивное распознавание и его применение к системе ввода печатного текста»

Распознаванием образов называют задачи отнесения оцениваемых объектов к каким-либо классам. Когда мы говорим о компьютерном распознавании, мы имеем в виду способность машины, то есть компьютера, "понимать", что представлено ему на рассмотрение. Любая задача распознавания изображений сводится к самостоятельной классификации машиной изображения, без помощи человека.

Более формально задача распознавания (классификации) объекта может быть сформулирована следующим образом. Имеется некоторый способ кодирования объектов (например, печатных букв), принадлежащих заранее известному конечному множеству классов, и некоторое конечное множество объектов (обучающее множество), про каждый из которых известно, какому классу он принадлежит. Нужно построить алгоритм, который по любому входному объекту, не обязательно принадлежащему обучающему множеству, решает, какому классу этот объект принадлежит, и делает это достаточно хорошо. Качество распознавания оценивается как вероятность ошибки классификации на другом конечном множестве объектов с заранее известными ответами (тестовом множестве). Конечно, это всего лишь одна из возможных постановок задачи классификации, не претендующая на общность.

Обучающее и тестовое множество могут не быть даны заранее, а пополняться в процессе работы распознающего алгоритма. Система распознавания должна быть достаточно адаптивна к наличию артефактов различной природы, поскольку на вход распознавания почти всегда попадают объекты, не укладывающиеся в классификацию (в примере с распознаванием текста - кляксы, слипшиеся буквы, картинки и т.п.). Качество распознавания можно оценивать не вероятностью ошибки, а какой-либо другой функцией от ошибки. Помимо частоты ошибочных решений, современные системы распознавания используют целый ряд критериев оценивания качества алгоритмов распознавания, ставших фактически отраслевыми стандартами и вычисляемых как производные от распределений оценок вероятностей, получаемых по тестируемой выборке (error rate, acceptance level). Желательны статистические гарантии того, что на любом другом тестовом множестве частота ошибки распознавания будет почти такой же.

Сходство и различия образов, являющиеся очевидными для человека, нередко ставят в тупик даже наиболее сложные компьютерные системы распознавания. Таким образом, бесчисленное количество важных приложений, в которых компьютеры могут заменить людей в опасных, скучных или неприятных работах, остаются за пределами их текущих возможностей.

Можно выделить три типа задач распознавания образов (мы не рассматриваем задачи распознавания сцен, в которых в задачу компьютера входит не только классификация предложенных ей объектов, но в первую очередь выделение на изображении этих отдельных объектов, которые можно было бы классифицировать). Первый тип - мы точно знаем описания классов, к которым требуется отнести объекты, при этом все классы задаются строго и однозначно. Второй тип - мы знаем число и описания классов, к которым требуется отнести объекты, но описания самих классов заданы нестрого. Третий тип - мы не знаем, объекты каких классов предстоит распознавать. К первому типу можно отнести такие задачи, как распознавание российских денежных купюр или распознавание текста, напечатанного известным заранее фиксированным шрифтом. Ко второму типу можно отнести, например, распознавание предметов мебели, распознавание произвольного текста, и многие другие. К третьему типу можно отнести задачи распознавания предметов, находящихся в произвольном помещении.

Задачи первого гипа компьютер решает наиболее успешно, задачи второго типа - с разной степенью, задачи третьего типа практически не решает, так как число классов для компьютерного распознавания всего сильно ограничено.

У человека число классов, конечно, тоже не бесконечно, но может быть очень велико - человек легко узнает многое из того, что он видит вокруг, что он слышит. Однако человек обладает способностью быстрой адаптации к вариациям известных классов и к обучению новым классам объектов.

В диссертационной работе рассматриваются в основном задачи второго типа, как наиболее распространенные на практике. Однако они далеки от окончательного решения. Так, в случае обработки изображений плохого качества, в случае различных искажений символов, возникающих, например, на краях отсканированных страниц или при не вполне стандартных начертаниях некоторых символов, программы распознавания могут давать большее число ошибок, чем при обработке однородных текстов. С другой стороны, человек, как правило, уверенно распознает текст даже плохого качества, напечатанный малознакомым шрифтом. Успешное распознавание текста человеком нередко происходит за счет адаптации к конкретной странице. При этом сомнительные символы сравниваются с четко напечатанными символами, в построенном шрифте проверяется наличие тех или иных символов, производится сопоставление с известными словами. Таким образом, разработка новых высокоточных алгоритмов распознавания текстов, равно как и улучшение уже существующих алгоритмов представляется актуальной задачей.

Предметом диссертации является разработка алгоритма адаптивного распознавания образов текстовых документов, цель которого состоит в перестройке механизма принятия решений, поддерживаемого системой распознавания образов, направленная на обеспечение их максимального соответствия особенностям графических образов, использованных при печати документов.

Целями н задачами диссертации исследования:

1) Построение модели адаптивного распознавания, учитывающей искажения образов символов отсканированных документов и основанной на нескольких механизмах: геометрическом распознавании символов, статистических методах кластеризации, сегментации границ символов, словарных механизмах.

2) Разработка алгоритмов адаптивного распознавания, направленных на учет особенностей отсканированного документа в различных механизмах распознавания и обеспечивающих оптимизацию нескольких характеристик качества: точности распознавания, монотонное ш оценок и быстродействия.

3) Обоснование работоспособности разработанных алгоритмов адаптивного распознавания с помощью формальных методов и ими гационного моделирования.

4) Реализация алгоритмов адаптивного распознавания в составе модульной системы распознавания отсканированных печатных документов.

Научная новизна работы состоит в следующем:

Создан новый метод адаптивного распознавания, который позволяет перестраивать функционирование алгоритмов распознавания отдельных символов, алгоритмов сегментации границ символов, алгоритмов словарной коррекции.

Реализован алгоритм быстрой кластеризации, который позволяет разбить множество распознанных образов на группы, соответствующие одноименным символам с одинаковыми атрибутами;

Предложен новый метод построения эталонов, основанный на анализе кластеров, поиске шрифтов, имеющихся в распознаваемом тексте, .который позволяет повысить точность распознавания символов и монотонность оценок.

Разработан и реализован алгоритм сегментации границ символов, основанный на использовании эталонов, сформированных на основе результатов кластеризации, который позволяет существенно повысить как точность сегментации, так и точность распознавания.

Проведено теоретическое обоснование влияния расстояний при параллельном переносе при наложении двух изображений и доказана теорема о малом сдвиге при поиске оптимального наложения.

Работа состоит из шести глав, введения, заключения, содержит 275 страниц, 53 иллюстрации, 120 таблиц, список литературы из 174 наименования и два приложения.

Содержание диссертации организовано в соответствии с указанными выше целями.

Первая глава содержит обзор существующих алгоритмов распознавания отдельных символов, имеющих отношение к распознаванию шрифтозависимыми и шрифтонезависимыми методами.

Рассмотрены современные алгоритмы распознавания образов (нейронные сети, сети с радиальными базисными функциями, методы векторного квантования, метод опорных векторов 8 УМ, алгоритмы Журавлева) и алгоритмы распознавания образов символов (топологические, сравнения с эталонами, нейронная сеть, метод полиномиальной регрессии).

Описаны иерархические агломеративные методы и итеративные методы кластерного анализа, а также оценены достоинства и недостатки шрифтонезависимого и шрифтонезависимого распознавания.

Во второй главе проведено исследование существующих алгоритмов распознавания печатного текста с неизвестными заранее границами, имеющих отношение к распознаванию шрифтозависимыми и шрифтонезависимыми методами.

Приведена система характеристик, позволяющая сравнивать достоинства и недостатки алгоритмов распознавания, на основе которой производится комбинирование результатов работы алгоритмов с целями оптимизации характеристик.

Описаны подходы к сегментации заранее неизвестных границ символов. Предложен алгоритм сегментации границ символов для шрифтонезависимого распознавания.

Приведены описания средств словарной проверки и коррекции.

В третьей главе описан разработанный метод адаптивного распознавания текста, призванный объединить достоинства шрифтозависимых и шрифюнезависимых методов.

Метод включает в себя первоначальную сегментацию и распознавание текста, формирование обучающей выборки (на основе монотонных оценок распознавания и подтверждения надежности словарными механизмами), кластеризацию распознанных символов, анализ кластеров, поиск шрифтов, построение эталонов символов для имеющихся шрифтов, повторное распознавание и повторную сегментацию ненадежно распознанных слов и символов.

Произведена формализация понятий, необходимых для исследования возможностей этапов адаптивного распознавания.

Описаны механизмы формирования обучающей выборки, такие как монотонные оценки методов распознавания отдельных символов и подтверждение с помощью корпуса слов, исследована надежность использования этих механизмов.

Приведены модели оцифровки и модели образа кластера, полученного суммированием образов элементов, составивших кластер.

В главе приводится доказательство теоремы о границах параллельного переноса изображении при нескольких попытках сравнения двух образов, которая использована в реализации алгоритмов сравнения бинарных символов.

В четвертой главе описаны результаты моделирования процессов оцифровки, позволяющие оценить применимость описанных ранее симметрии (функций сравнения); оценить влияние эффектов оцифровки на стабильность формирования образа кластера и эталонных изображений; произвести параметризацию способа формирования эталонных изображений; оценить влияние случайных искажений на стабильность формирования образа кластера и эталонных изображений; сформулировать принципы комбинирования нескольких симметрии. Показано, что результаты моделирования, проведенного на большом объеме данных (более чем из 8000 тестовых выборок), дают границы применимости алгоритмов самообучения.

В пятой главе приведены описания алгоритмов нахождения шрифтов в построенных кластерах, позволяющие повысить надежность и полноту формирования кластеров; сгруппировать кластеры в соответствии со шрифтами, использованными при печати документа; сформировать метод шрифтового распознавания образов для найденных шрифтов.

В главе описаны алгоритмы повторного распознавания образов символов, соответствующие моделям главы 3, обладающие следующими достоинствами: высокая точность распознавания; управляемость множеством эталонов извне, то есть использование внешних ограничений на алфавит распознавания и на перечень эталонов; высокая монотонность оценок, реализуемая на множестве образов символов кириллицы и латиницы; возможность самоконтроля, состоящая в опознавании символов, непохожих на эталоны.

Таким образом, предложенный алгоритм адаптивного распознавания позволяет получить способ распознавания текста, совмещающий универсальность шрифтонезависимого подхода и высокую точность шрифтового распознавания.

В шестой главе описаны особенности реализации алгоритмов адаптивного распознавания и их внедрение в программу оптического распознавания текста (OCR) Cognitive Cuneiform. Приведено описание модулей и использованных программных компонент, созданных специально для исследования алгоритмов распознавания.

В главе рассмотрены варианты применения распознавания печатных документов и программ сжатия образов страниц печатных документов. Результаты диссертационной работы были использованы при реализации механизма адаптивного распознавания, являющегося составной частью программы распознавания текстов OCR Cognitive Cuneiform, начиная с 1996 года.

По теме диссертации опубликована 21 работа, 16 из них опубликованы в рецензируемых научных изданиях, рекомендованных ВАК; получены патент на изобретение [105] и патент на полезную модель [151]. Основные результаты диссертации опубликованы в работах [99-107], [111], [116], [134, 135], [155-164].

Результаты диссертации докладывались и обсуждались на международных конференциях «Системный анализ и информационные технологии» в 2005, 2007 и 2009 г., а также на семинарах Института системного анализа РАН под руководством чл.-корр. РАН B.JI. Арлазарова и д.т.н. Н.Е. Емельянова.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Славин, Олег Анатольевич

6.9 Выводы по главе

В данной главе были рассмотрены модули системы Cuneiform, используемые в адаптивном распознавании, а также внешние по отношению к системе Cuneiform приложения, необходимые для отладки и анализа алгоритмов адаптивного распознавания.

Реализованные алгоритмы адаптивного распознавания на различных видах текстов уменьшает количество ошибок в среднем в 3,65 раза при уменьшении быстродействия на 13,1%, что является очень хорошим показателем эффективности метода и его реализации.

Дополнительным эффектом применения разработанного метода является существенное повышение монотонности оценок, что открывает путь к дальнейшему совершенствованию распознавания отсканированных документов.

Алгоритмы адаптивного распознавания являются составной частью OCR Cognitive Cuneiform, а также компонентой, используемой в проектных решениях для оцифровки отсканированных страниц в системах обработки документов [155,159].

Заключение

Основные теоретические и практические результаты диссертационной работы состоят в следующем:

1. Разработан метод адаптивного распознавания текстового документа, использующий самообучение, которые имеет более высокие оценки характеристики точности распознавания и монотонности оценок распознавания по сравнению к результатам предварительного распознавания. 2. Разработаны способы формирования обучающей выборки образов символов для кластеризации результатов первичного распознавания, основанные на комбинировании алгоритмов распознавания с монотонными оценками, со словарным подтверждением и позиционным анализом слов в предложении.

3. Разработаны модель оцифровки изображений, включающая процедуры поворота, параллельного переноса, сжатия, бинаризации и случайных искажений границы образа, и модель образа кластера, учитывающая разбиение на слои.

4. С помощью имитационного моделирования процессов оцифровки на большом объеме данных построены функции близости бинарных образов при кластеризации.

5. Проведено теоретическое обоснование влияния расстояний при параллельном переносе в случае наложения двух изображений.

6. Предложен и реализован метод сравнения распознаваемого бинарного образа с эталонами, извлекаемыми из построенного набора кластеров образов символов.

7. Разработан алгоритм сегментации границ символов, основанный на использовании шрифтов и эталонов, сформированных в процессе кластеризации.

8. Разработано приложение адаптивного распознавания для сжатия бинарных изображений.

Начиная с 1996 года, разработанные алгоритмы адаптивного распознавания являются составной частью программы распознавания текстов OCR Cognitive Cuneiform.

Список литературы диссертационного исследования доктор технических наук Славин, Олег Анатольевич, 2011 год

1. «Планшетные сканеры» // Scan & Recog. - Совм. издаиие Hewlett-Packard и Cognitive Technologies, № 1, 1994.

2. Baudouin С. Elements de cryptographie. — Ed. Pedone A., Paris, 1939.

3. Bojadziev G., Bojadziev M. Fuzzy Logic for Business, Finance and Management // Advances in fuzzy systems. 2nd edition. World Scientific Pub Co, 2007.

4. Borovikov E., Zavorin L, Mark Turner M A filter based post-OCR accuracy boost system // Proc. of the 1st ACM workshop on Hardcopy document processing. 2004. - P.23-28.

5. Böser B.E., Guyon Î.M., Vapnik V.N. A training algorithm for optimal margin classifiers// Proc. of the 5th Annual ACM Workshop on Computational Learning Theory. ACM Press, 1992.- P. 144-152.

6. Braun E.W. Applying Neural Networks to Character Recognition. http://www.ecs.neu.edu/home/feneric/charrecnn.html.

7. Casey R.G. "Text OCR by Solving a Cryptogram" // Proc. Eighth Int'l Conf. Pattern Recognition. 1986. - P. 349-351.

8. Cortes C., Vapnik V. Support Vector Networks, Machine Learning 20(3). -1995, № 323. P. 533-536.

9. Сип Y Le et al., "Back-Propagation Applied to Handwritten Zip Code Recognition", Neural Computation. 1989. V. 1. - P. 541-551.

10. Dong J-X, Krzyzak A., Suen C.Y. Fast SVM Training Algorithm with Decomposition on Very Large Data Sets, IEEE Transactions on Pattern Analysis and Machine Intelligence. 2005, V. 27, №. 4. - P. 603-618.

11. Xi.Duda R., Stock D., Hart P. Pattern Classification. Wiley, John & sons, December 1999.

12. Duda R.O. and Hart P.E., Pattern Classification and Scene Analysis. New York: John Wiley and Sons, 1973.216

13. Everett B., Landau S., Leese M. Cluster Analysis. Oxford University press, May 2001.

14. Faarborg A.J. Using Neural Networks to create an Adaptive Character Recognition System. Cornell University, New York, 2002.

15. Feng S., Manmatha, R. A Hierarchical, HMM-Based Automatic Evaluationthof OCR Accuracy for a Digital Library of Books. Proc. of the 6 ACM/IEEECS Joint Conference on Digital Libraries, 2006. - P. 109-118.

16. Flake G.W., Lawrence S. Efficient SVM Regression Training with SMO. -Machine Learning, 2002, V. 46, № 1-3. P. 271-290.

17. Fumera G., Roli F. Error Rejection in Linearly Combined Multiple Classifi-ers // Int. Report n. 2001-113, Dept. of Electrical and Electronic Eng. Univ. of Cagliari, 2001.

18. Gordon A.D. Classification. CRC Press, June 1999.

19. Hubert L., De Soete G., Hubert Lawrence J., Arabbie P. Clustering and Classification. World Sceintific Publishing Company, 1996.

20. Keysers D., Deselaers T., Gollcm C., Ney Ii. Deformation Models for Image Recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2007, V. 29, №. 8, P. 1422-1435.

21. Kohonen T. Self-Organizing Maps. Springer, Berlin, Heidelberg, 1995.

22. Krishnamoorthy M, Nagy G., Seth S., Viswanathan M. "Syntactic segmentation and labeling of digitized pages from technical journals" IEEE Journal on Pattern Analysis and Machine Intelligence. 1993, V. 15, №.7. - P.737-747.

23. Lam L., Lee S.W., Snen C.Y. Thinning Methodologies: A Comprehensive Survey. IEEE Trans. Pattern Analysis and Machine Intelligence. 1992, V. 14. - P. 869-885.

24. Lam L., Suen C.Y. An Evaluation of Parallel Thinning Algorithms for Character Recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1995, V. 17, № 9. - P. 914-919.

25. Yaeger L. S., Webb B. J., Lyon R. F. Combining Neural Networks and Context-Driven Search for Online, Printed Handwriting Recognition in the NEWTON, AI Magazine. Spring 1998, № 19(1). - P. 73-90.

26. Li Y., Lopresti D., Nagy G., Tomkins A. Validation of Image Defect Models for Optical Character Recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1996,V. 18, № 2. -P. 99-108.

27. Lippmann R.P. "An Introduction to Computing with Neural Nets", IEEE ASSP Magazine. Apr. 1987, V.4, № 2. - P. 4-22.

28. McCulloch IV.S. and Pitts W. A logical Calculus of Ideas Immanent in Nervous Activity. Bull. Mathematical Biophysics, 1943, V. 5-P. 115-133.

29. Mohiuddin K., Mao J. "A Comparative Study of Different Classifiers for Handprinted Character Recognition", in Pattern Recognition in Practice IV, E.S. Gelsema and L.N. Kanal. eds. Elsevier Science, 1994.- P. 437-448.

30. Nabney I.T. Netlab: Algorithms for Pattern Recognition. SpringerVerlag New York. December 2001. - P. 440.

31. Nagy G. Twenty Years of Document Image Analysis in PAMI, IEEE Trans. Pattern Analysis and Machine Intelligence. 2000, V. 22, №. 1. - P. 38-62.

32. Nagy G., Xu Y. Automatic prototype extraction for Adaptive OCR// Proceedings of the 4th ICDAR. 1997. - P. 278-282.

33. Nagy G., Xu Y. Priming the Recognizer. -Proc. DAS-96, Malvern, PA, 1996.- P. 263-281.

34. Niblack W. An Introduction to Digital Image Processing, Prentice Hall. 1986,- P. 115-116.

35. Pao Y-H. Adaptive pattern recognition and neural network. -"Addison-Wesley", 1989.

36. Portegys T.E. A Search Technique for pattern Recognition Using Relative Distances // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1995, V. 17, № 9. - P. 910-912.

37. Richard M.D., Lippman R.P. Neural Network Classifiers estimate Bayesian a posteriori probabilities // Neural Computation. 1991, №3.- P. 461-483.

38. Rosenblatt F. The perceptron: a probabilistic model for information storage and organization of the brain. Psychological Review. -1959, №65.- P. 386-408.

39. Rosha J., Pavlidis T. Character Recognition Without Segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1995, V. 17, № 9. - P. 903-909.

40. Roy B. Méthodologie Multycritere d'Aide a la Decision. Paris: Economoica, 1985.

41. Rummelhart D.E., Hinton G.E., Williams R.J. Learning Representations by Backpropagation Errors. Nature, 1986, № 323.- P. 533-536.

42. Saieki H. Allocation of Importance. An axiom system // Journal of Mathematical Psychology. 1972, №9. - P. 55-65.

43. Sarkar P, Nagy G. Style Consistent Classification of Isogenous Patterns // IEEE Transactions on Pattern Analysis and Machine Intelligence. January 2005, V. 27, № 1. - P. 88-98.

44. Sarkar P.and Nagy G. Style Consistency in Isogenous Patterns // Proc. Sixth Int'l Conf. Document Analysis and Recognition. Sept. 2001.-P. 1169-1174.61 . Schumann J. Pattern Classification. John Wiley&Sons, Inc., 1996.

45. SchVrmann J. Polynomklassifikatoren. Miinchen, Oldenbourg, 1977.

46. Sebastian T. B., Klein P. N., Kimia B. B. Recognition of Shapes by Editing Their Shock Graphs // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2004, V. 26, №. 5, P. 550571.

47. Shi H., Pavlidis T. Font Recognition and Contextual Processing for More Accurate Text Recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997, V 17, № 9. - P. 39-44.

48. Sholomov D.L. Syntactical Approach to Post-Processing of Fuzzy Recognized Text // Proc. of The International Conference on Machine Learning, Technologies and Applications. CSREA Press, June 2003.-P. 115-121.

49. Sneath P.H.A., Sokal R.R. Numerical Taxonomy. San Francisco: W.H. Freeman, 1973.

50. Sokal R., Sneat P. Principles of Numerical Taxonomy. San Francisco: W.H. Freeman, 1963.

51. Stubberud P., Kanai J. and Kalluri V. Adaptive Image Restoration of Text Images That Contain Touching or Broken Characters // Third International Conference on Document Analysis and Recognition. August 1995.-P. 778 - 781.

52. Stubberud P., Kanai J. and Kalluri V. Improving OCR Accuracy using Adaptive Image Restoration // SPIE Journal of Electronic Imaging. January 1996, V. 5, № 3. - P. 379-387.

53. Szmurlo M. Boundary normalization for recognition of non-touching non-degraded characters // The 4th International Conference on Document Analysis and Recognition (ICDAR 97). -August 1997, Ulra, Germany. P. 463-466.

54. Takasu A., Aihara K. Quality Enhancement in Information Extraction from Scanned Documents // ACM Symposium on Document Engineering (DocEng 2006). 2006, Amsterdam. -P.122-124.

55. Tang Y.Y., You X. Skeletonization of Ribbon-Like Shapes Based on a New Wavelet Function // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2003, V. 25, №. 9. - P. 1118-1133.

56. Theodoridis S., Koutroumbas K. Pattern Recognition. Academic Press, October 1998.

57. Trier □. D., Taxt T. Evaluation of Binarization Methods for Document Images // IEEE Transactions on pattern analysis and machine intelligence. March 1995, V. 17, No 3. - P. 312-315

58. Tryon R.C. Cluster Analysis. Ann. Arb.: Edw. Brathers, 1939.

59. Vapnik V. An Overview of Statistical Learning Theory // IEEE Transactions on Neural Networks. September 1999. № 10(5). -P. 988-999.

60. Vapnik V. Statistical Learning Theory. Wiley, 1998.

61. Veeramachaneni S. and Nagy G. Adaptive Classifiers for Multisource OCR // Int'l J. Document Analysis and Recognition. -Aug. 2004, V. 6, № 3. P. 154-166.

62. Veeramachaneni S. and Nagy G. Style-Conscious Quadratic Classifier // Proc. 16th Int'l Conf. Pattern Recognition. August 2002. V. II. - P. 72-75.

63. Veeramachaneni S., Nagy G., Liu C.-L., and Fujisawa H. Classifying Isogenous Fields // Proc. Eighth Int'l Workshop Frontiers of Handwriting Recognition. August 2002. - P. 41-46.

64. Verbeek J., Vlassis N. and KrCse B. Efficient Greedy Learning of Gaussian Mixture Models // Neural Computation. 2003, V. 15, № 2. - P. 469-485.

65. Verikas A. A., Bachauskene M. I., Vilunas S. J., Skaisgiris D. R. Adaptive character recognition system // Pattern Recognition Letters. 1992, V. 13 ,Issue 3. - P. 207-212.

66. Wakahaga T., Odaka K. Adaptive Normalization of Handwritten Characters Using Global/Local Affine Transformation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998, V. 20, № 12.- P. 28-33.

67. Wang J., Jean J. Segmentation of merged characters by neural networks shortest path // Pattern Recognition. 1994, V. 5, Issue 27.-P. 649-658.

68. Ward J. H. Hierarchical grouping to optimize an objective function // Journal of the American Statistical Association. 1963, V. 58. -P. 236-244.

69. Wasserman P. D. Neural Computing: Theory and Practice. New York: Van Nostrand Reinhold, 1989.

70. Westall J.M., Narasimha M.S. Vertex directed segmentation of handwritten numerals // Pattern Recognition. 1993, V. 26, Issue 10.-P. 1473-1486.

71. White H. Learning in artificial networks: A statistical perspective // Neural Computation. 1989, № 1. - P. 425-464.

72. Xu J., Lipton R., Essa I., Sung M., Zhu Y. Mandatory Human Participation: A NewAuthentication Scheme for Building Secure Systems // Proc. The 12th International Conference on Computer Communications and Networks. 2003. - P. 547 - 552

73. Xu Y, Nagy G. Prototype Extraction and Adaptive OCR // IEEE Trans. Pattern Analysis and Machine Intelligence. Dec. 1999, V. 21, № 12. - P. 1280-1296.

74. Yang S. Symbol Recognition via Statistical Integration of PixelLevel Constraint Histograms: A New Descriptor // IEEE Transactions on Pattern Analysis and Machine Intelligence. -2005, V. 27, №. 2. P. 278-281.

75. Yang Y., Summers K., Turner M. A Text Image Enhancement System Based on Segmentation and Classification Methods, Proc. of the 1st ACM workshop on Hardcopy document processing -Conference on Information and Knowledge Management. 2004, -P. 33-40.

76. Zeyu L., Tang L., Wang H. Fast Recognition of Handwritten Digits Using Pairwise Coupling Support Vector Machine // Proc. Int'l Joint Conf. Neural Networks. 2002, V. 1. - P. 878-883.

77. Zheng Y., Li hi., Doermann D. Machine Printed Text and Handwriting Identification in Noisy Document Images // IEEE

78. Transactions on Pattern Analysis and Machine Intelligence. -2004, V. 26, №. 3. P. 337-353.

79. Арлазаров B.JJ., Астахов А.Д., Троянкер В.В., Котович Н. В. Адаптивное распознавание символов // Сб. трудов ИСА РАН "Интеллектуальные технологии ввода и обработки информации". М.:Эдиториал УРСС, 1998. - С. 39-56.

80. Арлазаров В.Л., Корольков Г.В., Славин O.A. Линейный критерий в задачах OCR // Сб. трудов ИСА РАН "Развитие безбумажных технологий в организациях". М.: Эдиториал УРСС, 1999.-С. 17-23'.

81. Арлазаров В.Л., Котович Н.В., Славин O.A. Адаптивное распознавание // Информационные технологии и вычислительные системы. 2002, Вып. 4. - С. 11-23.

82. Арлазаров В.Л., Куратов П.А., Логинов A.C., Славин О.А Некоторые аспекты сегментации границ печатных символов // Информационные технологии и вычислительные системы. -2004, № 4. С. 59-70.

83. Арлазаров В.Л., Куратов П.А., Славин O.A. Распознавание строк печатных текстов // Сб. трудов ИСА РАН "Методы и средства работы с документами". М.: Эдиториал УРСС, 2000. - С. 31-51.

84. Арлазаров В.Л., Куратов П.А., Славин O.A. Сегментация границ символов, управляемая моделью слова // Сб. трудов ИСА РАН "Организационное управление и искусственный интеллект". -М.: Эдиториал УРСС, 2003. С.176-184.

85. Арлазаров В.Л., Логинов A.C., Славин O.A. Характеристики программ оптического распознавания текста. // Программирование. 2002, №3. - С. 45-63.

86. Арлазаров В.Л., Романов А.Н., Котович Н.В., Славин O.A. Устройство для адаптивного распознавания символов текстовых документов // Патент РФ на изобретение № 2206918 от 20.06.2003. Бюл. № 17. 2003 (РосПатент).

87. Арлазаров В.Л. ', Славин O.A. Алгоритмы распознавания и технологии ввода текстов в ЭВМ // Информационные технологии и вычислительные системы. 1996, № 1. - С. 48-54.

88. Арлазаров B.JI., Славин O.A., Хованский А.Г. Оценка расстояния между изображениями при параллельном переносе // Доклады академии наук. 2011, Т. 437, № 3. - С. 313-315.

89. Беллман Р. Динамическое программирование. -М.: ИЛ. 1960.

90. Беллман Р., Заде Л. Принятие решений в расплывчатых условиях. В кн.: Вопросы анализа и процедуры принятия решений. -М.: Мир. 1976.- С.172-215.

91. Бербышев Е.М. Технологии ММХ. Новые возможности процессоров Р5 и Р6. М.: Диалог-Мифи, 1998.

92. Болотин П.В., Корольков Г.В, Славин O.A. Методы распознавания грубых объектов // Сб. трудов ИСА РАН "Развитие безбумажных технологий в организациях". М.: Эдиториал УРСС, 1999. - С. 331-355.

93. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука, 1983.

94. Вапник В.Н., Червоненкис А.Я. О равномерной сходимости относительных частот событий к их вероятностям // Теория вероятностей и приложения. 1971, № 16(2). - С. 264-280.

95. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. -М.: Наука, 1974.

96. Васильев В.И. Распознающие системы. Киев:Наукова думка, 1983.

97. Гавриков М.Б., Мисюрев A.B., Пестрякова PI.В., Славин O.A. Об одном методе распознавания символов, основанном на полиномиальной регрессии // Автоматика и телемеханика. -2006, №3. С. 119-134.

98. Глумов H.H., Мясников Е.В. Метод отбора информативных признаков на цифровых изображениях // Компьютерная оптика. 2007, Т. 31, №3. — С. 73-76.

99. Гоппа В.Д. Введение в алгебраическую теорию информации. -М.: Наука, 1995.

100. Горелик A.JJ., Скрипкин В.А. Методы распознавания, Изд. 2. М.: Высшая школа, 1984.

101. Джексон Т. Intel: взгляд изнутри. М.: Лори, 1998.

102. Журавлев Ю. И. Корректные алгебры над множествами некорректных (эвристических) алгоритмов I, II, III.— Кибернетика. 1977, № 4. - С. 14 - 21, № 6, С. 21 - 27; № 2, С. 35 - 43.

103. Журавлев Ю.И. Непараметрические задачи распознавания образов. М.: Кибернетика. 1976. № 6. - С. 93-103.

104. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации // Проблемы Кибернетики. 1978. № 33. - С. 5-67.

105. Журавлев Ю.И. Экстремальные алгоритмы в математических моделях для задач распознавания и классификации // Докл. АН СССР. 1976, Т. 231, № 3. - С. 212 -214.

106. Журавлев Ю.И., Камилов М.М., Туляганов Ш.Э. Алгоритмы вычисления оценок и их применения. Ташкент: Фан, 1974.

107. Журавлев Ю.И, Никифоров A.B. Алгоритмы распознавания, основанные на вычислении оценок // Кибернетика. 1972. № 3. - С. 1 - 11.

108. Загоруйко Н.Г. Методы распознавания и их применение. -М.: Сов. Радио, 1972.

109. Калеватых A.B., Павлов Б.А. Обзор современных методовавтоматизированного анализа изображений // Автоматика и телемеханика. 1995, Вып. 9. - С. 3-21.

110. Классификация и кластер. Сборник. М.: Мир, 1980.

111. Кляцкин В.М., Котович И.В. Применение методов вычислительной геометрии для поиска линейных объектов // Сб. трудов ИСА РАН В "Управление информационными потоками". М.: Эдиториал УРСС, 2002. - С. 201-210.

112. Ковалевский В.А. Методы оптимальных решений в распознавании изображений. — М.: Наука, 1967.

113. Козин Н.Е., Фурсов В.А. Снижение размерности векторов признаков по критериям мультиколлинеарности // Компьютерная оптика. 2008. Т. 32, №3. - С. 307-311.

114. Колмогоров А.Н. О представлении непрерывной функции нескольких переменных суперпозицией непрерывных функций одной переменной и сложения // ДАН СССР. 1957, Т. 114(5) . -С. 953-956.

115. Котович Н.В., Кляцкин В.A4., Славин O.A. Многопроходная схема распознавания документов с обучением // Сб. трудов ИСА РАН "Управление информационными потоками". -М.: Эдиториал-УРСС, 2002. С. 211-222.

116. Котович Н.В., Славин O.A. Распознавание скелетных образов // Сб. трудов ИСА РАН "Методы и средства работы с документами". М.: Эдиториал УРСС, 2000. - С. 204-215.

117. Кохонен Т. Ассоциативная память. -М.: Мир, 1980.

118. Кочин Д.Ю., Хлебутин П. С. Разработка многомодульных программных комплексов // Сб. трудов ИСА РАН " "Развитие безбумажной технологии в организационных системах". -М.:Эднториал УРСС, 1999.- С.110-126.

119. Логинов A.C. О некоторой схеме распознавания на основе признакового подобия объектов. Алгоритм построения дерева распознавания // Сб. трудов ИСА РАН "Развитие безбумажных технологий в организациях". М.:Эдиториал УРСС, 1999. - С. 127-136.

120. Мандель И.Д. Кластерный анализ. М.: Финансы и статистика. 1988.

121. Мерков А.Б. Распознавание образов. Введение в методы статистического обучения. М. Едиториал УРСС, 2011.

122. Минский М., Пейперт С. Перцептроны. М.: Мир, 1971.

123. Мисюрёв A.B. Использование искусственных нейронных сетей для распознавания рукопечатных символов // Сб. трудов ИСА РАН "Интеллектуальные технологии ввода и обработки информации". М.:Эдиториал УРСС, 1998. - С.122-127.

124. Михайлов H.A. Распознавание изображений с помощью метода радиальных окрестностей // Компьютерная оптика. -2010, Т. 34, №3. С. 399-407.

125. Нильсон Н. Обучающиеся машины. М.: Мир, 1967.

126. Петровский А.Б. Основные понятия теории мультимножеств. М.:Эдиториал УРСС, 2002.

127. Петровский А.Б. Пространства множеств и мультимножеств. М.:Эдиториал УРСС. 2003.

128. Пиотровский Р.Г., Бектаев, К.Б., Пиотровская A.A. Математическая лингвистика. -М.: Высшая школа. 1977.

129. Постников В. В. Разработка методов наложения формы на графическое изображение документа // Сб. трудов ИСА РАН "Интеллектуальные технологии ввода и обработки информации". М.:Эдиториал УРСС, 1998. - С. 157-163.

130. Промахова И.М., Коростелев А.П. Об одном классе вероятностных рекуррентных алгоритмов распознавания. ВНИИСИ, препринт. М.: 1984.

131. Розенблатт Ф. Принципы нейродииамики. Перцептроны и теория механизмов мозга. М.: Мир. 1965.

132. Романов А.Н., Славин О.А, Титов Ю.В. Система адаптивного распознавания символов // Патент РФ на полезную модель № 63571 от 27.05.2007. Бюл. № 15 2007 (РосПатент).

133. Рутковская Д., Пшинъский М., Рутковский JT. Нейронные сети, генетические алгоритмы и нечеткие системы. М.: Горячая линия - Телком, 2007.

134. Сатин М.С. Фотоэлектрическое устройство, воспринимающее цифровые печатные знаки // Электрон. Вычисл. Машины. 1960, № 1. - С. 110-123.

135. Себастиан Г. Процессы принятия решения при распознавании образов. Киев:Техника, 1965.

136. Славин O.A. Алгоритмы распознавания структурированных документов с переменным составом // Программирование. 2005, №4.-С. 1-18

137. Славин O.A. Использование мультимножеств в распознавании символов // Сб. трудов ИСА РАН "Системныйподход к управлению информацией". М.: КомКнига, 2006, Том №23.-С. 155-173

138. Славин O.A. Комбинированные методы распознавания печатных и рукопечатных символов // Сб. трудов ИСА РАН "Документооборот. Концепции и инструментарий". -М.: Едиториал УРСС, 2004. С. 151-174

139. Славин O.A. Многопроходное распознавание смешанных печатных текстов на примере русско-английского распознавания // Сб. трудов ИСА РАН "Обработка изображений и анализ данных". М.: Едиториал УРСС, 2008, Т.38.-С. 272-277.

140. Славин O.A. Об одной реализации системы распознавания факсов // Сб. трудов ИСА РАН "Информационно-аналитические аспекты в задачах управления". -М.: Издательство ЖИ, 2007, Том № 29. С. 320-328.

141. Славин O.A. Распознавание атрибутов текстовых символов // Сб. трудов ИСА РАН "Документооборот. Концепции и инструментарий". М.: Эдиториал Едиториал УРСС, 2004.-С. 142-150.

142. Славин O.A. Средства управления базами графических образов символов и их место в системе распознавания // Сб. трудов ИСА РАН "Развитие безбумажных технологий в организациях". М.: Эдиториал УРСС, 1999. - С. 277-289.

143. Славин O.A., Подрабинович A.A. Древовидное распознавание нормализованных символов // Сб. трудов ИСА РАН "Интеллектуальные технологии ввода и обработки информации". -М.: Эдиториал УРСС, 1998. С. 137-157.

144. Славин O.A., Титов Ю.В. Динамическое построение функций сравнения с идеальным образом в задаче адаптивного распознавания текстовых символов // Информационные технологии и вычислительные системы. 2007, № 1. - С. 3-12.

145. Славин O.A., Шахвердиев Б.М. Алгоритмы сохранения результатов оптического распознавания // Сб. трудов ИСА РАН "Методы и средства работы с документами". М.: Эдиториал УРСС, 2000.-С. 3-12.

146. Террайен Ч.У., Куатьери Т.Ф., Даджон Д.Е. Алгоритмы анализа изображений, основанные на статистических моделях // ТИИЭР. 1986, Т. 74, № 4. - С. 4-25.

147. Титов Ю. В. Об искажении символов при сканировании // Сб. трудов ИСА РАН "Системный подход к управлению информацией". М.: КомКнига, 2006, Том № 23. - С. 260-288.

148. Фу К. Структурные методы в распознавании образов. -М.: Мир. 1977.

149. Хмелев Р.В. Совместное использование структурного анализа и метрики Хаусдорфа при сравнении объекта и эталона // Компьютерная оптика. 2005, Т. 27. - С. 174-176.

150. Шеннои К. Работы по теории информации и кибернетике. -М.: ИЛ, 1963.

151. Щепин Е.В. Кластерный анализ Электронный ресурс., http://www.mi.ras.ru/~scepin/Q-clust.pdf

152. Щепин Е.В., Непомнящий Г.М. К топологическому подходу в анализе изображений. Геометрия, топология и приложения (Межвузовский сборник научных трудов). М.: Московский институт приборостроения, 1990. - С. 13-25.

153. Эфрон Б. Нетрадиционные методы многомерного статистического анализа. -М: Финансы и статистика. 1988.

154. Яглом А. М., Яглом И. М. Вероятность и информация. -М.: Наука. 1973.

155. Ян Д.Е. Исследование, развитие и реализация методов автоматического распознавания рукописных текстов в компьютерных системах // Автореферат диссертации на соискание ученой степени кандидата физико-математических наук.-2003.-С. 153-158.