Разработка и исследование методов и средств распознавания текста факсимильных сообщений тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Цопкало, Николай Николаевич

• Цопкало, Николай Николаевич
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Цопкало, Николай Николаевич

ВВЕДЕНИЕ.

1. АНАЛИТИЧЕСКИЙ ОБЗОР МЕТОДОВ И СРЕДСТВ РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ ФАКСИМИЛЬНЫХ ДОКУМЕНТОВ НИЗКОГО КАЧЕСТВА.

1.1 Анализ применимости существующих программных средств для распознавания факсимильных документов низкого качества.

1.2 Обзор и классификация задач обработки изображений.

Выводы.

2. РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ ПРЕДОБРАБОТКИ И АНАЛИЗА ИЗОБРАЖЕНИЙ ДОКУМЕНТОВ.

2.1 Анализ применимости существующих методов сегментации для решения задачи выделения текстовых строк в условиях помех.

2.2 Разработка метода сегментации объектов бинарных изображений, устойчивого к помехам.

2.3 Экспериментальное исследование характеристик разработанного метода. Сравнение с методами «снизу вверх» и комбинированным.

2.4 Выработка критерия для выделения слов строки.

2.5 Разработка метода идентификации типов бланков факсимильных сообщений.

Выводы.

3. РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДА РАСПОЗНАВАНИЯ СИМВОЛОВ ФАКСИМИЛЬНЫХ ДОКУМЕНТОВ.

3.1 Разработка системы накопления обучающих данных и создание на ее основе наборов изображений символов факсимильных сообщений.

3.2 Разработка комбинированного нейросетевого метода классификации изображений символов.

3.2.1 Разработка нейросетевой системы распознавания символов.

3.2.2 Способ извлечения информации, содержащейся в выходном векторе персептрона.:.

3.2.3 Способ предварительной классификации изображений печатных символов.

3.2.4 Выбор признакового пространства для классификации изображений символов.

3.3 Исследование качества распознавания символов с применением разработанного метода.

Выводы.

4. РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДА ОРФОГРАФИЧЕСКОЙ

КОРРЕКЦИИ РЕЗУЛЬТАТОВ ПОСИМВОЛЬНОГО РАСПОЗНАВАНИЯ 1.

4.1 Разработка метода орфографической коррекции.

4.2 Исследование разработанного метода распознавания и сравнение качества распознавания с методом на основе алгоритма Витерби.

4.3 Обработка англо-русского словаря и создание базы данных для распознавания англоязычных текстов с применением разработанного метода.

Выводы.

5. АНАЛИЗ ТРУДОЕМКОСТИ ОСНОВНЫХ ЭТАПОВ И РАСКРЫТИЕ

ВОЗМОЖНОСТЕЙ ДЛЯ РАСПАРАЛЛЕЛИВАНИЯ.

5.1 Модели параллельных машин и методика разработки параллельных программ.

5.2 Анализ трудоемкости основных этапов задачи распознавания факсимильных документов и раскрытие возможностей их распараллеливания.

Выводы.

Введение диссертации (часть автореферата) на тему «Разработка и исследование методов и средств распознавания текста факсимильных сообщений»

В настоящее время вместе с расширяющимся применением Internet и электронной почты остается широко распространенной такая форма обмена документами, как факсимильная связь. Она будет использоваться во всем мире еще долгое время, поскольку обладает следующими достоинствами: простота использования, очевидность, дешевизна, использование при передаче твердой копии (электронная версия документа не всегда есть в наличии). Однако отличительной чертой такого способа связи является передача изображения документа, сформированного с помощью сканирующего устройства факс-аппарата. Вследствие этого, применение факсимильной связи создает большие неудобства при учете, хранении и обработке входящей корреспонденции, особенно если велик ее объем. Очевидны также неудобства хранения электронных версий документа в виде изображений из-за большого объема файла и недоступности содержимого для автоматической обработки. Обработка документов может включать отбор документов по ключевым словам, определение тематики документа путем нахождения слов, характерных для какой-либо предметной области, автоматическое индексирование и перевод, а также классификацию документов согласно принадлежности организации-отправителю. Для решения всех этих задач необходим доступный текст документа.

Актуальность такой работы подтверждается последними публикациями. Даже общепризнанные лидеры среди пакетов оптического распознавания символов (optical character recognition, OCR), как раз и предназначенные для решения задач подобного рода, не справляются с распознаванием обычного факсимильного сообщения, несмотря на то, что текст можно легко прочесть визуально [1]. Существующие в настоящее время системы распознавания не всегда позволяют эффективно распознавать изображения печатных текстов низкого качества, характерные для документов, полученных по факсу.

Существует несколько причин, обуславливающих низкое качество факсимильных документов. Среди них — низкое разрешение факс-аппарата. В то время как распознаваемые документы обычно сканируются с разрешением не ниже 300 dpi, факсимильный документ обычно имеет разрешение 200x100 dpi (режим «Standard»), и лишь при улучшенном качестве передачи (режим «Fine») 200x200 dpi. Разное разрешение по вертикали и по горизонтали приводит к тому, что высота изображения документа в пикселях оказывается в два раза меньше ожидаемой, а символы оказываются «сплюснутыми» и в таком виде практически не распознаются. При низком разрешении символы имеют У малую высоту в пикселях, поэтому случайные изменения нескольких пикселей приводят не только к значительным изменениям формы символа, но часто меняют его топологию. Значительные искажения изображений документов возникают вследствие низкого качества исходной твердой копии, причиной которого является старение, копирование, использование морально устаревших печатающих устройств. Все эти дефекты не позволяют применять для распознавания символов многие известные методы, в частности метод сравнения с эталоном, структурные методы. Не являются информативными топологические признаки, признаки формы и многие другие признаки, традиционно считающиеся эффективными при распознавании изображений. Низкое разрешение и плохое качество приводят к ошибкам на этапе предварительной обработки, в частности, к пропуску строк. Обычной является ситуация, когда вполне читаемый текст распознается с ошибками почти в каждом слове вследствие неэффективности процедур распознавания и орфографической коррекции.

Характерными при факсимильной передаче являются такие помехи, как перекос документа, а также появление тонкой вертикальной линии, вызванное дефектом факс-аппарата и приводящее к соединению символов соседних строк. Это делает не эффективными описанные в последних публикациях методы сегментации строк и вызывает необходимость их усовершенствования или разработки новых.

Другим источником плохого качества документа являются помехи в линии связи. Для передачи через коммутируемую телефонную сеть графическая информация кодируется по строкам пикселей. Это приводит к тому, что кратковременная помеха искажает всю строку.

Для определения организации-отправителя система обработки и распознавания факсимильных документов должна использовать алгоритмы распознавания, адаптированные для обнаружения и идентификации уникальных для каждой организации признаков документа, а для обработки текста необходимы алгоритмы распознавания печатных символов низкого качества, что характерно для документов, полученных по факсу, а также алгоритмы определения тематики документа, использующие поиск по словарям. Кроме того, в условиях плохого качества электронной копии, для правильного распознавания слов не достаточно только лишь посимвольного распознавания, поскольку в этом случае ошибки неизбежны, не зависимо от алгоритма распознавания. Необходима подсистема проверки орфографии слов, взаимодействующая с распознающей системой с целью подбора наиболее близкого слова. Однако при анализе текста, полученного программой

FineReader, видно, что в результате ошибок распознавания текст состоит из слов, представляющих собой бессмысленные наборы букв, хотя на изображении данного документа присутствуют разрешенные в языке слова.

Кроме того, в современных комплексных системах мониторинга и обработки информации возникает задача высокоскоростной обработки интенсивных информационных потоков и отбора конкретных факсимильных сообщений, что требует построения специализированных многопроцессорных вычислительных систем.

Одним из способов повышения производительности обработки может быть отбор факсимильных документов с помощью распознавания типа бланка по эмблеме или логотипу, без распознавания текстового содержимого. Однако эта функция, как правило, вообще не поддерживается существующими средствами обработки изображений документов.

Существующие коммерческие пакеты оптического распознавания символов предназначены исключительно для работы на персональной ЭВМ. Они не доступны для усовершенствования, разработки новых систем и новых реализаций.

С учетом вышесказанного, имеется необходимость разработки методов и средств распознавания, пригодных для построения перспективных современных средств обработки факсимильных сообщений, используемых при создании новых программных пакетов, которые могут быть реализованы на различных платформах, и при построении специализированных комплексных систем мониторинга и обработки информации.

Разработке и исследованию методов и средств качественного распознавания факсимильных сообщений для современных систем обработки информации посвящена данная диссертационная работа.

Целью работы является разработка и исследование методов, алгоритмов и программ распознавания текста факсимильных сообщений, обеспечивающих высокое качество распознавания и возможность использования их при построении современных специализированных систем обработки потоков факсимильных сообщений.

В связи с поставленной целью в диссертации решаются следующие основные задачи:

- разработка методов и алгоритмов сегментации строк и слов текста по растровому изображению документа;

- автоматизированное создание баз данных реальных изображений символов для обучения и оценки систем распознавания;

- разработка и исследование алгоритмов вычисления признаков изолированных печатных символов и методов распознавания с помощью искусственных нейронных сетей;

- разработка и исследование метода орфографической коррекции результатов распознавания символов в словах на примере английского языка;

- оценка трудоемкости и определение возможности распараллеливания разработанных алгоритмов.

Предмет исследования. В работе исследуются особенности изображений печатных текстов и символов латинского алфавита на примере базы данных реальных факсимильных сообщений (более 400), исследуется эффективность использования нейросетевого подхода к распознаванию изолированных символов, а также применимость теории скрытых Марковских моделей для поиска наиболее правдоподобного орфографически-корректного слова. Кроме того, исследуется возможность распараллеливания разработанных алгоритмов на этапах декомпозиции и установления взаимосвязей элементов данных.

В рамках исследования используются методы теории распознавания образов, обработки изображений, нейросетевые методы распознавания, основы теории скрытых Марковских моделей, теории вычислительных систем.

Научная новизна. В результате проведенных в диссертации исследований

- разработан новый метод сегментации объектов бинарного изображения, работающий «сверху вниз», основанный на комбинации операций фильтрации и заливки, сегментирующий строки в условиях помех, характерных для факсимильных сообщений, таких как слипание символов и появление на тексте сплошной вертикальной полосы;

- разработан метод идентификации типов бланков факсимильных сообщений, позволяющий производить на его основе предварительную классификацию входящих документов в системах обработки потоков факсимильных сообщений;

- разработана система накопления обучающих данных, обучения и оценки достигнутого качества распознавания на различных наборах данных, упрощающая разработку новых систем распознавания;

- разработан комбинированный метод классификации изображений символов, учитывающий высоту и вертикальное положение символа относительно базовой линии строки текста и использующий нейросетевой подход к распознаванию, обеспечивающий высокое (9599%) качество распознавания изолированных символов и пар;

- получен способ извлечения полной информации, содержащейся в выходном векторе персептрона за счет использования не только максимального его элемента, но и близких к нему по значению, в качестве набора классификационных решений с разной степенью достоверности, повышающий качество последующего контекстного распознавания символов;

- разработан метод орфографической коррекции результатов нейросетевого распознавания слов, отличающийся от существующего метода на основе алгоритма Витерби тем, что на каждом временном шаге ищутся N наиболее вероятных корректных слов среди всех, которые могут быть порождены на этом шаге, что повышает правильность контекстного распознавания на 10-25% слов по сравнению с известным методом;

- намечены пути параллельной обработки и распознавания изображения текста в части декомпозиции и установления взаимосвязей элементов данных наиболее трудоемких алгоритмов распознавания, что раскрывает возможности для распараллеливания и позволяет на этой основе создавать высокопроизводительные системы обработки потоков факсимильных сообщений.

Практическая ценность. На основе теоретических результатов, полученных в данной работе, была создана действующая комплексная система обработки и распознавания факсимильных сообщений, позволяющая распознавать изображения текстовых документов низкого качества, что является практически полезным при использовании факсимильной связи. Кроме этого, показанная возможность распараллеливания разработанных алгоритмов позволяет строить специализированные системы, обрабатывающие большие объемы изображений текстовых документов, что обеспечивает возможность автоматической обработки содержимого, решает проблемы их учета, хранения и распечатки. Разработанная система обучения и оценки классификаторов обеспечивает простоту накопления и организации обучающих данных, минимизирует время разработки новых алгоритмов вычисления признаков и методов распознавания и может быть использована при проектировании нейросетевых систем, а также в учебном процессе в рамках курсов по искусственному интеллекту и распознаванию образов.

Достоверность основных положений работы и применимость предложенных методов подтверждается теоретически и результатами экспериментов по распознаванию текстов.

В работе получены и выносятся на защиту следующие новые основные результаты:

1) метод сегментации объектов бинарных изображений в условиях помех, характерных для факсимильных сообщений, таких как тонкая вертикальная полоса, слипания и перекрытия символов;

2) способ извлечения полной информации, содержащейся в выходном векторе персептрона, повышающий качество последующего контекстного распознавания символов

3) метод орфографической коррекции, повышающий количество правильно распознанных слов.

Использование результатов работы. Результаты диссертации использованы в хоздоговорной НИР №16105 «Исследование путей программной реализации системы предварительной обработки и распознавания печатных символов факсимильных сообщений», выполненной по заказу в/ч 11135, а также в учебном процессе на кафедре БИТ.

Апробация работы. Основные результаты работы докладывались на XXXIII региональной молодежной школе-конференции «Проблемы теоретической и прикладной математики» (Екатеринбург: ИММ УРО РАН, 2002 г.), на всероссийских научно-технических конференциях с международным участием «Компьютерные технологии в инженерной и управленческой деятельности» (Таганрог, 1997, 1998 гг.), на трех научно-практических семинарах «Информационная безопасность - юг России», на международной научно-практической конференции «Компьютерные технологии в науке, производстве, социальных и экономических процессах» (Новочеркасск, 2000 г.), а также на всероссийских научных конференциях студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления», проводившихся в ТРТУ в 1997, 1998 и 2000 гг.

Публикации. По теме диссертации опубликовано 13 печатных работ, в которых отражены основные результаты диссертации.

Структура и объем работы. Диссертация включает введение, обзорную главу, четыре тематических раздела, заключение, список литературы и приложение.

Заключение диссертации по теме «Теоретические основы информатики», Цопкало, Николай Николаевич

Выводы

1. Быстрое развитие многопроцессорных вычислительных машин и параллельного программирования обусловлено принятием абстрактной модели параллельной машины, такой же удобной и общей, как модель последовательной машины фон Неймана. Такой идеализированной моделью параллельной машины является мультикомпьютер, состоящий из нескольких компьютеров фон Неймана, связанных друг с другом с помощью коммуникационной среды. В рамках этой модели возможны различные архитектуры параллельных компьютеров, например, MIMD архитектура с распределенной памятью и мультипроцессор с разделяемой памятью. При программировании сложных задач для выполнения на параллельной машине необходима абстрактная модель программирования. Возможны модели программирования на основе понятий «задачи» и «каналы», принципа передачи сообщений, принципа разделяемой памяти и параллелизма данных. Все они

Рис. 5.14. Взаимосвязь элементов данных на этапе коррекции способствуют формализации процесса разработки параллельных программ и позволяют придерживаться определенной методики, согласно которой процесс разработки параллельного алгоритма состоит из четырех стадий: декомпозиция (partitioning), взаимосвязь (communication), агломерация (agglomeration), отображение (mapping). На первых двух этапах этой методики раскрываются присущие задаче потенциальные возможности для распараллеливания, определяются простейшие элементы данных и схема их взаимодействия, без привязки к какой-либо конкретной архитектуре, что позволяет в дальнейшем разработать наиболее эффективный алгоритм для любой конкретной системы. В соответствии с вышеизложенным, определение возможности распараллеливания разработанных алгоритмов целесообразно производить согласно этой методике, а именно, в части определяющих стадий декомпозиции и установления взаимосвязей.

2. Как показано в предыдущих разделах, обработка изображения документа производится в три этапа: сегментация (с применением операций фильтрации и заливки), распознавание и орфографическая коррекция. Выделение этих этапов является функциональной декомпозицией и позволяет проектировать три разных подсистемы, оптимизированные под алгоритмы каждого этапа. Произведены оценки трудоемкости алгоритмов, выполняющихся на различных этапах обработки, и даны рекомендации по машинно-зависимым аспектам разработки параллельных алгоритмов.

Экспериментально установлено, что наиболее трудоемким этапом является орфографическая коррекция. Трудоемкость этой операции пропорциональна М log М (М — число одновременно сохраняемых лучших цепочек на каждом шаге). Для достижения достоверности распознавания 98% необходимо установить М= 100, при этом время орфографической коррекции 1 страницы документа составило 24 секунды, а доля этой операции во времени общей обработки составила 66%. Таким образом, данный этап является критичным по времени и нуждается в распараллеливании прежде остальных. Выделено два уровня его распараллеливания. Элементами данных в операции орфографической коррекции могут выступать слова документа, при этом каждое слово обрабатывается независимо, взаимосвязи отсутствуют. При более детальной декомпозиции, в каждой позиции слова элементами данных являются цепочки текущего набора и варианты распознавания текущего символа, между которыми установлены взаимосвязи «каждый с каждым». Для исключения взаимосвязей между задачами на этапе агломерации, рекомендуется дублирование набора цепочек, а варианты распознавания символа из набора распределяются между задачами.

3. Этап нейросетевого распознавания символов занимает 29% общего времени распознавания документа. При нейросетевом распознавании основное время занимают матричные операции, которые наиболее эффективно могут быть реализованы аппаратно. Такие специализированные вычислительные блоки, необходимые для моделирования работы нейросетей, присутствуют в архитектуре многих специализированных процессоров и нейропроцессоров. Таким образом, для ускорения этого этапа рекомендовано включение в систему вспомогательных вычислительных блоков, например, специализированных нейропроцессоров, содержащих аппаратный блок матричных вычислений. Примером нейровычислителя может выступать процессор SYNAPSE фирмы SIEMENSE NIXDORF, отечественный нейропроцессора NeuroMatrix NM6403 и другие.

4. Длительность этапа сегментации составляет 5% общего времени распознавания документа. Раскрыты возможности для распараллеливания основных операций этого этапа — заливки и составления строк. Элементарными единицами данных в операции заливки являются пиксели объекта, а взаимосвязи устанавливаются с 8-ю соседними пикселями. Подчеркнуто, что такие взаимосвязи вызывают необходимость обменов между задачами лишь при обработке пикселей на границах областей. Рассмотрена декомпозиция операции составления строк из упорядоченного набора изображений символов. Показано, что в результате агломерации каждая задача будет независимо формировать элементы строк, а взаимодействия возникнут лишь при объединении фрагментов строки.

ЗАКЛЮЧЕНИЕ

В соответствии с поставленными целями, в итоге проведенных исследований и разработок были получены следующие основные научные результаты.

1. Разработан метод сегментации объектов изображений, позволяющий выявить структуру сложных изображений за счет использования подхода «сверху вниз» и комбинации операций фильтрации и заливки, позволяющий правильно сегментировать строки в случаях слипания и перекрытия по вертикали символов соседних строк, а также при появлении на факсимильном документе тонкой вертикальной полосы. При работе с изображениями текстов, изменяя параметры фильтрации, можно сегментировать текстовые блоки на странице, строки внутри текстового блока или слова в строке. При этом данный метод сегментации лишен недостатка коммерческой программы Fine Reader, обнаруживающей две текстовых строки на изображении одной.

2. Реализован метод сегментации строк на изображении документа, использующий подход «снизу вверх» и формирующий строки из набора сегментированных символов текстового блока, упорядоченных по возрастанию их координаты х, менее трудоемкий, и в то же время, позволяющий правильно находить строки в условиях перекоса страницы.

3. Разработан метод идентификации типов бланков факсимильных сообщений по характерному графическому фрагменту (логотипу), позволяющий производить быструю сортировку документов в системах обработки потоков факсимильных сообщений.

4. Разработан комбинированный нейросетевой метод распознавания, включающий предварительную классификацию символов по высоте и положению в строке и окончательное распознавание одиночных символов и слипшихся пар производящееся различными нейросетями, что обеспечивает распознавание строчных и прописных букв сходного начертания, позволяет выбирать оптимальный набор различаемых пар соединенных символов без переобучения соответствующей сети одиночных символов упрощает структуру сетей и обеспечивает качество распознавания до 99,4%.

5. Предложен способ извлечения полной информации, содержащейся в выходном векторе персептрона за счет использования не только максимального его элемента, но и близких к нему по значению, в качестве набора классификационных решений с разной степенью достоверности, что повышает качество последующего контекстного распознавания символов.

6. Разработан метод орфографической коррекции результатов нейросетевого распознавания символов. В отличие от метода на основе алгоритма Витерби, в данном методе при переборе вариантов распознавания текущего символа ищется N лучших цепочек символов среди всех, которые могут быть порождены этими вариантами, что повышает качество контекстного распознавания символов.

7. Произведены оценки трудоемкости основных этапов обработки факсимильных сообщений, определены пути распараллеливания этих этапов в части декомпозиции соответствующих алгоритмов и установления взаимосвязей элементов соответствующих данных. Это является определяющей стадией разработки параллельных алгоритмов распознавания текста и позволяет на этой основе строить модели параллельных вычислений для постановки задач по обработке факсимильных сообщений на многопроцессорных системах, в том числе специализированных.

В результате проведенных практических разработок была создана действующая комплексная система обработки и распознавания факсимильных документов, сравнимая по качеству распознавания с известными коммерческими системами оптического распознавания текста. Модули системы выполняют специализированные функции, такие как распознавание типа бланка, сегментация строк и слов изображения текста, распознавание символов, орфографическая коррекция.

Список литературы диссертационного исследования кандидат технических наук Цопкало, Николай Николаевич, 2003 год

1. Богданов В., Ахметов К. Системы распознавания текстов в офисе. // Компьютер-пресс — 1999 №3, с.40-42.

2. Павлидис Т. Алгоритмы машинной графики и обработки изображений. М:, Радио и связь, 1986

3. Shani U. Filling Regions in Binary Raster Images — a Graph-theoretic Approach. // SIGGRAPH'80, pp 321-327.

4. Merrill R.D. Representation of Contours and Regions for Efficient Computer Search. // CACM, 16 (1973), pp. 69-82.

5. Pavlidis T. Filling Algorithms for Raster Graphics. // CGIP, 10 (1979), pp. 126141.

6. Lieberman H. How to Color in a Coloring Book. // SIGGRAPH'78, Atlanta, Georgia, (August, 1978), pp. 111-116. Published by ACM.

7. Smith A.R. Tint Fill. // SIGGRAPH'79, Chicago, Illinois, (August, 1979), pp. 276-283. Published by ACM.

8. Abramatic J. F., Silverman L.M. Non-Stationary Linear Restoration of Noisy Images. // Proc. 18th IEEE Decision and Control Conference, vol. 1, (December 1979) pp. 92-99.

9. Nagao M., Matsuyama T. Edge Preserving Smoothing. // Proc. Fourth Intern. Joint Conf. on Pattern Recognition (November, 1978), pp. 518-520.

10. Abdou I.E., Pratt W.K. Quantitative Design and Evaluation of Enhancement/Thresholding Edge Detectors. // IEEE Proceedings, 67 (1979), pp 753-763.

11. Brooks M.J. Rationalizing Edge Detectors // CGIP, 8 (1978), pp. 277-285.

12. Chen P.C., Pavlidis T. Image Segmentation as an Estimation Problem. // CGIP, 12 (1980), pp. 153-172.

13. Cooper D.B., Elliott H., Cohen F., Reiss L, Symoser P. Stochastic Boundary Estimation and Object Recognition. // CGIP, 12 (1980), pp. 326-356.

14. Davis L.S., Mitiche A. Edge Detection in Textures. // CGIP, 12 (1980), pp. 2539.

15. Haralick R.M. Edge and Region Analysis for Digital Image Data. // CGIP, 12 (1980), pp. 60-73.

16. Haralick R.M. Statistical and Structural Approaches to Texture. // Proc Fourth Intern. Joint Conf. on Pattern Recognition, November 1978, pp. 45-69.

17. Julesz B. Foundations of Cyclopean Perception. Chicago: University of Chicago Press, 1971.

18. Julesz В. Experiments in the visual perception of texture. Scientific American, 232 (1975), pp 34-43.

19. Budinger T.F. Computed Tomography: Three-Dimensional Imaging with Photons and Nuclear Magnetic Resonance. // Biomedical Pattern Recognition and Image Processing. K. S. Fu, T. Pavlidis, eds. Weingeim: Chemie Verlag, 1979, pp. 179— 212.

20. Herman G.T. ed. Image Reconstruction from Projections, Berlin: Springer, 1980.

21. Pavlidis T. Computer Recognition of Figures Through Decomposition. // Information and Control, 14 (1968), pp. 526-537.

22. Shepp L.A., Logan B.F. The Fourier reconstruction of a head section. // IEEE Trans, on Nuclear Science, NS-21 (1974), pp. 21-43.

23. Morrin Т. H. Chain-Link Compression of Arbitrary Black-White Images. // CGIP, 5 (1976), pp 172-189.

24. Pavlidis T. A Minimum Storage Boundary Tracing Algorithm and its Application in Automatic Inspection. // IEEE Trans. Systems, Man, Cybernetics, SMC-8 (1978), pp. 66-69.

25. Mylopoulos J., Pavlidis T. On the Topological Properties of Quantized Spaces. // JACM, 18 (April 1971), Part I pp. 239-246, Part II pp. 247-254.

26. Rosenfeld A. Connectivity in Digital Pictures. // JACM, 17 (1970) pp. 146-160.

27. Sobel I. Neighborhood Coding of Binary Images for Fast Contour Following and General Binary Array Processing. // CGIP, 8 (August 1978), pp. 127-135.

28. Dudani S.A. Region Extraction Using Boundary Following. C.H.Chen, ed. Pattern Recognition and Artificial Intelligence, New York: Academic Press, 1976 pp. 216-232.

29. Yokoi S., Toriwaki J.I., Fukumura T. An Analysis of Topological Properties of Digitized Binary Pictures Using Local Features. // CGIP, 4 (1975), PP. 63-73.

30. Arcelli C, Cordelia L. P., Levialdi S. From Local Maxima to Connected Skeletons. // IEEE Trans. Pattern Analysis Machine Intelligence, PAMI-3 (1981), pp. 134-143.

31. Beun M. A flexible method for automatic reading of handwritten numerals. Philips Technical Review, 33 (1973), Part I: pp. 89-101. Part II: pp. 130-137.

32. Blum H. A Transformation for Extracting New Descriptions of Shape. // Symposium on Models for the Perception of Speech and Visual Form, M.I.T. Press, 1964.

33. Pavlidis T. A Thinning Algorithm for Discrete Binary Images. // CGIP, 13 (1980), pp. 142-157.

34. Rosenfeld A. A Characterization of Parallel Thinning Algorithms. // Information and Control, 29 (1975), pp. 286-291.

35. Stefanelli R., Rosenfeld A. Some Parallel Thinning Algorithms for Digital Pictures. // JACM, 18 (1971), pp. 255-264.

36. Tamura H. A Comparison of Line Thinning Algorithms from Digital Geometry Viewpoint. // Proc. Fourth Intern. Joint Conf. on Pattern Recognition, Kyoto, November 1978, pp. 715-719.

37. Pavlidis T. Structural Pattern Recognition. Berlin, Heidelberg, New York: Springer Verlag, 1977.

38. Pavlidis Т., Herowitz S.L. Segmentation of Plane Curves. // IEEE Trans. Computers, C-23 (1974), pp. 860-870.

39. Pavlidis T. Polygonal Approximations by Newton's method. // IEEE Trans. Computers, C-26 (1977), pp. 800-807.

40. Sargur N. Srihari et al. Document Image Understanding. Technical report. CEDAR, State University of New York at Buffalo.

41. Цопкало H.H. Проблема распознавания изображений текстовых документов. // Сборник трудов семинара «Информационная безопасность -юг России». Таганрог Кисловодск, 1999 г. С. 128-131.

42. Wang D., Srihari S.N. Classification of newspaper image blocks using texture analysis. // Computer Vision, Graphics and Image Processing, 47:327-352, 1989.

43. Lam S.W. An Adaptive Approach to Document Classification and Understanding. IAPR Workshop on Document Analysis Systems, Kaiserslautern, Germany, 1994.

44. Brown H. Standards for Structured Documents. The Computer Journal, Vol. 32, No. 6, 1989, pp 505-514.

45. Nagy G., Seth S.C. Hierarchical representation of optical scanned documents. // In Proceedings of the International Conference on Pattern Recognition, IEEE, Montreal, Canada, pp 347-394, 1984.

46. Wong K.Y., Casey R.G.and Wahl F.M. Document Analysis System. IBM J.Res.Devlop. 26, No.6, 1982, pp 647-656.

47. Wahl F.M., Wong K.Y., Casey R.G. Block segmentation and text extraction in mixed text/image documents. // Computer Vision, Graphics and Image Processing, 20:375-390, 1982.

48. Cattoni R., Coianiz Т., Messelodi S., Modena C.M. Geometric Layout Analysis Techniques for Document Image Understanding: a Review.

49. Pavlidis Т., Zhou J. Page segmentation by white streams. // In Proc. Int. Conf Doc. Analysis and Recognition, pp. 945-953, 1991.

50. Srigari S.N.and Govindaraju V. Textual Image Analysis Using the Hough Transform. International Journal of Machine Vision and Applications, 2(3), 1989, pp 141-153.

51. Дуда Р., Харт П. Распознавание образов и анализ сцен. М: Мир, 1976

52. Parodi P., Piccioli G. A fast and flexible statistical method for text extraction in document pages. // Conference on Computer Vision and Pattern Recognition, San Francisco, Ca. June 18-20, 1996.

53. Аникеев M.B., Федоров B.M., Цопкало Н.Н. Алгоритм распознавания бланков факсимильных сообщений. // Известия ТРТУ. Специальный выпуск «Материалы XLVII научно-технической конференции». Таганрог: ТРТУ, 2002. №1(24), С. 146-147.

54. Горбань А. Н., Россиев Д. А. Нейронные сети на персональном компьютере. — Новосибирск: Наука, 1996.

55. Цопкало Н.Н. База данных изображений символов для тестирования алгортимов OCR. // V Всероссийская научная конференция студентов и аспирантов «Техническая кибернетика, радиоэлектроника и системы управления». Таганрог, 2000 г. С 362.

56. Цопкало Н.Н. Распознавание символов печатного текста по структурным признакам с использованием нейросети. // Сборник трудов второго регионального научно-практического семинара «Информационная безопасность — юг России». Таганрог, 2000 г. С. 130-135.

57. Руководство пользователя к библиотеке nnet операционной среды MATLAB.

58. Riedmiller, М., Н. Braun. "A direct adaptive method for faster backpropagation learning: The RPROP algorithm," Proceedings of the IEEE International Conference on Neural Networks, 1993.

59. Трегубов A.A., Цопкало Н.Н. Контекстное нейросетевое распознавание символов с учетом словаря и переходных вероятностей. // Сборник трудов научно-практической конференции "Информационная безопасность", Россия, Таганрог, 28-31 мая 2002 г.

60. Файн В. С., Рубанов JI. И. Машинное понимание текстов с ошибками. М.: Наука, 1991 г.

61. Drake A. W. Discrete-state Markov processes. Chapter 5 in Fundamentals of Applied Probability Theory. New York, NY: McCraw-Hill, 1967.

62. Baum L. E., Petrie T. Statistical inference for probabilistic functions of finite state Markov chains. Ann. Math. Stat., vol. 37, pp. 1554-1563, 1966.

63. Baum L. E., Egon J. A. An inequality with applications to statistical estimation for probabilistic functions of a Markov process and to a model for ecology. Bull. Amer. Meteorol. Soc., vol. 73, pp. 360-363, 1967.

64. Baum L.E., Sell G.R. Growth functions for transformations on manifolds. Рас. J. Math., vol. 27, no. 2, pp. 211—227, 1968.

65. Baum L. E., Petrie Т., Soules G., Weiss N. A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains. Ann. Math. Stat., vol. 41, no. 1, pp. 164-171, 1970.

66. Rabiner L.R. A tutorial on hidden Markov models and selected applications in speech recognition. Proc. IEEE 77(2):257-286 (1989)

67. Viterbi A. J. Error bounds for convolutional codes and in asymptotically optimal decoding algorithm. IEEE Trans. Informat, Theory, vol. 39, no. 1, pp. 1-38.

68. Форни-мл. Дж. Д. Алгоритм Витерби. ТИИЭР 1973, т. 61, №3, с 12-25.

69. Hull J. J., Srihari S. N., Choudhari R. An integrated algorithm for text recognition: comparison with a cascaded algorithm. IEEE Trans. Pattern Analysis and Machine Intelligence 5(4):384-395 (1983)

70. Guyon I., Pereira F. Design of a Linguistic Postprocessor using Variable Memory Length Markov Models. In Proc. 3rd Int. Conf. Doc. Anal. Recog., pp. 454-457, Los Alamitos, California, 1995.

71. Elms A.J., Procter S., Illingworth J. The advantage of using an HMM-based approach for faxed word recognition// Int. J. Doc. Anal. Recog. (1998) 1: 18-36

72. Foster, Ian. Designing and Building Parallel Programs: Concepts and Tools for Parallel Software Engineering. Addison-Wesley Pub Co; 1st edition (February 1995).

73. Галушкин А.И. Нейрокомпьютеры. Кн. 3: Учебное пособие для вузов / Общая ред. А.И. Галушкина. — М.: ИПРЖР, 200. 528 е.: ил. (Нейрокомпьютеры и их применение).