Метод распознавания символов, основанный на полиномиальной регрессии тема диссертации и автореферата по ВАК РФ 05.13.01, доктор технических наук Пестрякова, Надежда Владимировна

• Пестрякова, Надежда Владимировна
• доктор технических наук
• 2012

Оглавление диссертации доктор технических наук Пестрякова, Надежда Владимировна

ВВЕДЕНИЕ.

1 ОБЗОР МЕТОДОВ РАСПОЗНАВАНИЯ.

1.1 Общие сведения о распознавании.

1.2 Распознавание образов (терминология).

1.3 Байесовский вероятностный подход.

1.4 Метрические алгоритмы классификации.

1.5 Восстановление регрессии.

1.6 Искусственные нейронные сети.

1.7 Построение моделей алгоритмов.

1.8 Выводы.

2 МЕТОД РАСПОЗНАВАНИЯ: ТЕОРЕТИЧЕСКИЕ ОСНОВЫ, ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ, ХАРАКТЕРИСТИКИ.

2.1 Математическая постановка задач обучения и распознавания согласно методу полиномиальной регрессии.

2.1.1 Краткий тематический обзор.

2.1.2 Математическая постановка задачи.

2.1.3 Метод наименьших квадратов.

2.1.4 Метод полиномиальной регрессии.

2.1.5 Вычисление матриц Е{х(у) х(у)т}, Е{х(у) ут}.

2.1.6 Практическое нахождение матрицы А.

2.2 Метод «полиномов» и его практическая реализаци.

2.2.1 Общие замечания.

2.2.2 Построение вектора х.

2.2.3 Практическая реализация.

2.2.4 Теоретические основы для изучения статистических свойств обучающего множества символов.

2.3 Характеристики метода полиномов.

2.3.1 Основные понятия.

2.3.2 Печатные прямые буквы и цифры.

2.3.3 Печатные прямые и курсивные цифры.

2.3.4 Рукопечатные цифры.

2.4 Сравнение методов.

ЗАКОНОМЕРНОСТИ В РАСПОЗНАВАНИИ.

3.1 Распознавание символов обучающей базы.

3.1.1 Общие замечания.

3.1.2 Поведение оценки распознавания в терминах растров.

3.1.3 Поведение оценки распознавания в терминах полиномиальных векторов.

3.1.4 Сравнение поведения оценки распознавания в терминах растров и полиномиальных векторов.

3.1.5 Оценка распознавания для «1». Выделение двух подбаз.

3.1.6 Оценки. От хаоса к структуре.

3.1.7 Выводы.

3.2 Распознавание «среднестатистических» растров и векторов.

3.2.1 Оценки и контрастность распознавания.

3.2.2 Расстояния между среднестатистическими растрами и векторами различных символов.

3.2.3 Связь между распознаванием и степенью близости к среднестатистическим растрам и векторам.

3.2.4 Выводы.

4 ПЕЧАТНЫЕ И РУКОПЕЧАТНЫЕ СИМВОЛЫ.

4.1 Распознавание печатных и рукопечатных символов.160 4.1.1 Особенности обучения и распознавания.

4.1.2 Зависимость оценки распознавания от величины отклонения растра изображения символа от среднестатистического растра.

4.1.3 Зависимость оценки распознавания от величины отклонения полиномиального вектора изображения символа от среднестатистического вектора.

4.1.4 Расположение правильно, неправильно распознанных и «чужих» символов в терминах растров и полиномиальных векторов.

4.1.5 Выводы.

4.2 Модели «затемнения» («засветления»).

4.2.1 Описание моделей и некоторые замечания.

4.2.2 Интегральные характеристики модифицированной базы. Сравнительный анализ при затемнении / засветлении и различных типах написания символов.

4.2.3 Качество распознавания. Сравнительный анализ при затемнении / засветлении и различных типах написания символов.

4.2.4 Корреляция качества распознавания и векторной интегральной характеристики модифицированной базы при засветлениидля рукопечатных символов.

4.2.5 Корреляция качества распознавания и векторной интегральной характеристики модифицированной базы при затемнении для рукопечатных символов.

4.2.6 О качестве распознавания и интегральных характеристиках модифицированной базы при засветлении и затемнении для печатных символов.

4.2.7 О сильном затемнении и засветлении.

4.2.8 Дифференциальные характеристики модифицированной базы.

4.2.9 Динамика дифференциальных характеристик модифицированной базы при засветлении для печатных и рукопечатных цифр.

4.2.10 Корреляция качества распознавания, векторных интегральной и дифференциальных характеристик модифицированной базы при засветлении рукопечатных символов.

4.2.11 Динамика дифференциальных характеристик модифицированной базы при затемнении для печатных и рукопечатных цифр.

4.2.12 Корреляция качества распознавания, векторных интегральной и дифференциальных характеристик модифицированной базы при затемнении рукопечатных символов.

4.2.13 Сравнительный анализ интегральных и дифференциальных характеристик при затемнении и засветлении для печатных и рукопечатных символов.

4.2.14 Расстояние между растрами «Белого» и «Черного» квадратов. Рукопечатные и печатные символы.

4.2.15 Выводы.

4.3 Модель «дискретизации».

4.3.1 Описание модели. Представление дискретизации в виде комбинации затемнения и засветления.

4.3.2 Анализ табличных и графических данных. Согласованность характеристик качества распознавания для дискретизации с соответствующими величинами для затемнения и засветления.

4.3.3 Выводы.

Введение диссертации (часть автореферата) на тему «Метод распознавания символов, основанный на полиномиальной регрессии»

Актуальность проблемы. Задача распознавания печатных и рукопечат-ных символов весьма актуальна для различных видов современных наукоемких технологий, использующих процесс оптического ввода документов в компьютер: автоматическая обработка платежных ведомостей в банках, результатов анкетирования или голосования, пенсионных форм и т.д.

Реализация оптического ввода бумажных документов основывается на превращении графического образа страницы в текст. Это типичная задача искусственного интеллекта, включающая распознавание символов, словарную обработку, элементы языковой семантики. Распознавание символов начинается после завершения этапов сканирования, бинаризации и сегментации образа документа.

Системы распознавания ориентируются на печатные и рукописные образы. Рукописная информация может являться как действительно таковой, например, в банковских чеках, так и документами, заполняемыми от руки, но с ориентацией на стандартное начертание букв (сходное с заглавными печатными буквами определенного алфавита) и цифр - так называемые рукопечатные символы.

Важным является то, что существующие классы распознающих систем, такие как программы ввода текстов, системы потокового ввода структурированных документов, видеорегистраторы текстовых объектов, используют различные стратегии распознавания, но опираются на общие алгоритмы распознавания отдельных символов.

Характеристики качества алгоритмов распознавания символов включают в себя не только традиционные критерии точности и быстродействия, но такую важную группу критериев, как свойства оценок распознавания, на основании которых осуществляется подсчет надежности алгоритмов более высокого уровня и всей системы в целом.

Область применения систем распознавания постоянно расширяется, причем одновременно идет процесс ужесточения предъявляемых к ним требований. Одним из способов решения проблемы является создание систем, использующих несколько разнородных методов распознавания отдельных символов. Все это стимулирует разработку новых методов распознавания символов и повышение их эффективности.

Существенный прогресс в решении этой задачи наблюдается в последние годы благодаря тому, что возрастающие возможности вычислительной техники позволяют применять алгоритмы большой сложности. Это, несомненно, способствует развитию современных точных методов распознавания. К таким общеизвестным подходам относится регрессионный анализ, лежащий в основе настоящей работы.

Появление и распространение технологий nVidia CUDA, ATI Stream, OpenCL и Microsoft DirectCompute порождает особый интерес к разработке методов, вычислительная структура которых обеспечивает возможность глубокого мелкозернистого (fine gained) распараллеливания, что является одним из важнейших свойств описанного в этой работе метода.

Данная работа посвящена созданию обеспечивающих возможность распараллеливания эффективных приложений полиномиальной регрессии к задаче распознавания печатных и рукопечатных символов, обучению и проверке разработанного метода на различных базах символов (печатные прямые буквы и цифры, печатные прямые и курсивные цифры, рукопечатные цифры), теоретическому и численному анализу характеристик качества и свойств разработанного метода распознавания а также разработке и реализации приложений метода распознавания в исследовании статистических свойств обучающих и распознаваемых множеств символов. В диссертации представлены все перечисленные направления.

Конкретные побудительные мотивы проведения исследований, представленных в диссертации, следующие.

1. Фундаментальной проблемой является разработка и программная реализация метода распознавания символов, поскольку детальная документация по существующим решениям является коммерческой тайной и по этой причине недоступна для общего свободного пользования. Имеющиеся в открытом доступе публикации [156] могут быть использованы в той или иной степени при постановке задачи и в целом вызывают несомненный интерес, но содержат лишь общие сведения (формулы, рассуждения и т.д.) и никак не являются практическим руководством по созданию метода распознавания на основе полиномиальной регрессии из-за отсутствия конкретных сведений о структуре используемых многочленов, а также ввиду рассмотрения ситуаций, весьма далеких от реальных, в частности, для распознавания столь сложных объектов, как печатные и рукопечатные символы. В тоже время задача построения и реализации нового метода распознавания является многоаспектной, ввиду того что одновременно требуется найти ответ на огромное количество разноплановых вопросов, связанных и с постановочной составляющей (выбор модели, структуры полиномов, коэффициентов), и с конкретной реализацией. Возникает необходимость в решении оптимизационных проблем, поскольку для обеспечения высокого качества распознавания требуется усложнение структуры полиномов, но при этом ухудшается быстродействие.

2. В последние годы большое значение придается распараллеливанию численных алгоритмов для решения задач распознавания на многопроцессорной вычислительной технике. Для метода, основанного на полиномиальной регрессии, решение исходной задачи легко сводится к решению серии более простых задач. Особенная эффективность метода связана с возможностью реализации предложенного алгоритма на многопроцессорных и параллельных электронно-вычислительных машинах.

3. Разработка нового метода распознавания предполагает безусловную необходимость исследования свойств выставляемой им оценки, распределений общего и ошибочного количества распознаваний в зависимости от оценки для различных типов символов, а также сопоставление характеристик качества данного метода (быстродействие, точность распознавания, монотонность оценок) с другими известными методами.

4. Несомненно важным является изучение статистических свойств обучающих и распознаваемых множеств символов. Для этого подходит далеко не каждый метод распознавания. Особенность данного вероятностного метода распознавания заключается в том, что в его основе лежит восстановленный с большой степенью достоверности некоторый неизвестный вероятностный закон, в соответствии с которым распределены элементы обучающей последовательности символов, моделирующей датчик случайных векторов. Степень достоверности этого приближения соответствует точности распознавания на обучающем множестве. Ее высокий уровень позволяет использовать данный метод для анализа статистических свойств множеств символов.

Предметом исследований является:

1. Программная реализация методов распознавания печатных и рукопе-чатных символов; обучение и использование этих методов на различных базах символов (печатные прямые буквы и цифры, печатные прямые и курсивные цифры, рукопечатные цифры).

2. Теоретический и численный анализ характеристик качества и свойств разработанных методов распознавания.

Целями диссертации являются:

1. Разработка и реализация в виде библиотеки программ метода, основанного на полиномиальной регрессии, для численного решения задачи распознавания печатных и рукопечатных символов.

2. Численное исследование характеристик качества (быстродействие, точность распознавания, монотонность оценок) программной реализации метода на различных базах графических образов символов с известными границами (прямые печатные буквы и цифры, прямые и курсивные печатные цифры, рукопечатные цифры).

3. Сопоставление с характеристиками качества известных алгоритмов распознавания символов, таких как искусственные нейронные сети и алгоритм сравнения с эталонными образами.

4. Разработка методик и численные исследования на базах печатных и ру-копечатных цифр:

- закономерностей в поведении оценок распознавания;

- особенностей взаимного расположения правильно, неправильно распознанных изображений символа, а также образов «чужих» символов (отличных от данного).

5. Разработка методик и численные исследования зависимости точности и оценок распознавания от степени различия между множествами обучения и распознавания.

Методология исследования. В работе был использован байесовский вероятностный прецедентный подход для задачи классификации на К непересекающихся классов. Ответом распознавателя считается АТ-мерный вектор вероятностей в принадлежности объекта к каждому из классов, по которому можно найти номер класса. Тем самым, классификация превращается в специальный случай регрессии, что отражено в названии работы.

Научная новизна заключается в следующем.

Введены новые величины (среднестатистический растр и полиномиальный вектор), являющиеся характеристиками множества изображений символов, и изучены особенности их распознавания. По разработанной методике в контексте этих величин найдены закономерности поведения средней оценки распознавания.

С использованием предложенного подхода на основе немонотонного поведения средней оценки распознавания изучена структура базы обучения.

Выполнено исследование механизма формирования средней оценки из оценок отдельных образов.

Найдены закономерности в расположении правильно, неправильно распознанных изображений символов, а также образов «чужих» символов.

Автор диссертации разработал методику и провел численные исследования зависимости точности и оценок распознавания от степени различия между обучающим множеством и полученным путем его модификации распознаваемым множеством для предложенных моделей затемнения - засветления и дискретизации. Установлены корреляционные соотношения с динамикой среднестатистических растров и векторов. Для рукопечатных и печатных цифр проведен сравнительный анализ полученных результатов.

Достоверность численных результатов проверена сопоставлением с данными, полученными аналитически.

Впервые введены понятия мелко-, средне- и крупномасштабных явлений при описании данного метода распознавания. Показано наличие организационных структур на средне- и крупномасштабном уровнях.

Практическая ценность и реализация результатов работы.

В диссертации разработан метод распознавания печатных и рукопечатных символов, основанный на полиномиальной регрессии. Выполнено обучение метода и проверка точности распознавания, быстродействия и монотонности оценок на базах печатных прямых букв и цифр, печатных прямых и курсивных цифр, рукопечатных цифр.

Проведенное в данной работе сравнение с другими методами распознавания символов, а также многолетняя практика использования метода показали, что разработанный и реализованный метод распознавания удовлетворяет высоким требованиям по точности распознавания, быстродействию, монотонности оценок. Метод хорошо зарекомендовал себя при распознавании сильно зашум-ленных (загрязненных и в значительной степени разрушенных) изображений.

Вычислительная структура метода обеспечивает возможность глубокого мелкозернистого распараллеливания. Это является неоспоримым преимуществом метода при распараллеливании как средствами CPU (центрального процессора), так и с помощью GPU (средств графических карт). Относительное увеличение скорости достигает 25 - 28 раз.

Разработанный алгоритм распознавания печатного и рукопечатного написания на базах графических символов с известными границами оформлен в виде библиотеки программ, состоящей из двух частей: обучение (с возможным дообучением) и распознавание для платформ Windows2000 / WindowsXP / Windows Vista / Windows 7.

Результаты диссертационной работы были использованы при реализации систем ввода документов в компьютер.

Данный метод в течение ряда лет применяется для распознавания руко-печатных цифровых реквизитов в системе массового ввода сложноструктурированных документов Cognitive Forms.

Высочайшая монотонность генерируемых оценок позволяет использовать метод в промышленной технологии тестирования распознавания печатных и рукопечатных документов как с известным заранее описанием структуры, так и без него. На этом основано его применение в алгоритмах адаптивного распознавания печатных символов на базе OCR Cuneiform.

Апробация работы. Результаты диссертационной работы докладывались на следующих семинарах и конференциях: семинар ИСА РАН под рук. чл.-корр. РАН проф. В.Л.Арлазарова и д.т.н. проф. Н.Е.Емельянов (Москва, 2005); Седьмой международной научно-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2009); Третьей Международной конференции «Системный анализ и информационные технологии» САЙТ (Звенигород, 2009); Одиннадцатой международной научно-практической конференции «Фундаментальные и прикладные исследования, разработка и применение высоких технологий в промышленности» (Санкт-Петербург, 2011); XVII Международной конференции по Вычислительной механике и современным прикладным программным системам ВМСППС'2011 (Алушта, 2011); Четвертой Международной конференции «Системный анализ и информационные технологии» САЙТ (Абзаково, 2011).

Личный вклад автора. Основные научные результаты диссертационной работы принадлежат лично автору. Ряд экспериментальных данных получен при участии сотрудников Института системного анализа РАН. Автор являлся инициатором и исполнителем разработок, формулировал теоретические и экспериментальные задачи, намечал пути решения и решал их, разрабатывал и реализовывал методики исследований, разрабатывал программное обеспечение.

Публикации. Основные результаты диссертационной работы представлены в 25 печатных работах: 1 монографии [192], 10-ти статьях Перечня, рекомендованного ВАК РФ [169, 170, 172, 175, 176, 181, 182, 183, 186, 187], 9-ти препринтах [161, 168, 171, 173, 174, 179, 180, 184, 185], 5-ти тезисах докладов [177, 178, 189, 190, 191].

Российский фонд фундаментальных исследований поддержал работы, определившие значительную часть содержания диссертации (грант РФФИ №10-07-0700374-а).

Издана монография [192], обобщившая полученные результаты (грант РФФИ №11-07-07006-д)

Содержание диссертации организовано в соответствии с указанными выше целями.

Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Работа изложена на 257 страницах, содержит 48 иллюстраций и 29 таблиц. Библиография включает 192 наименования.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Пестрякова, Надежда Владимировна

ЗАКЛЮЧЕНИЕ

Основные теоретические и практические результаты диссертационной работы состоят в следующем.

1. Разработан и реализован новый вероятностный метод распознавания печатных и рукопечатных символов, основанный на полиномиальной регрессии, обладающий большим быстродействием, высокой точностью и монотонностью оценок, вычислительная структура которого обеспечивает возможность распараллеливания.

2. Предложен и реализован способ представления полиномиальных векторов для печатных и рукопечатных символов.

3. Реализован метод получения матрицы распознавания без обращения матрицы большой размерности.

4. Разработаны и реализованы приложения метода распознавания в исследовании статистических свойств обучающих множеств символов.

5. Разработаны и реализованы приложения метода распознавания в исследовании статистических свойств распознаваемых множеств символов.

6. Начиная с 2000 года разработанный метод применяется в качестве одного из базовых методов распознавания рукопечатных цифровых реквизитов в промышленной системе распознавания сложноструктурированных документов ICR Cognitive Forms.

7. Начиная с 2000 года разработанный метод применяется в алгоритмах адаптивного распознавания, которые являются составной частью программы распознавания текстов OCR Cognitive Cuneiform.

Список литературы диссертационного исследования доктор технических наук Пестрякова, Надежда Владимировна, 2012 год

1. Мерков А. Б. Распознавание образов. Введение в методы статистического обучения. // М.: Едиториал УРСС, 2011.

2. Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. // М.: Финансы и статистика, 1989.

3. Бонгард М. М. Проблема узнавания. // М.: Физматгиз, 1967.

4. Айзерман М. А., Браверман Э. М., Розоноер Л. И. Метод потенциальных функций в теории обучения машин. // М.: Наука, 1970.

5. Вапник В. К, Червоненкис А. Я. Теория распознавания образов. Статистические проблемы обучения. // М.: Наука, 1974.

6. Аркадьев А. Г., Браверман Э. М. Обучение машины классификации объектов. //М.: Наука, 1971.

7. Журавлев Ю. И. Об алгебраическом подходе к решению задач распознавания или классификации // Проблемы кибернетики, 1978, Т. 33, с. 5-68.

8. Журавлев Ю. И. А. А. Ляпунов и становление кибернетики в нашей стране // А. А. Ляпунов. Проблемы теоретической и прикладной кибернетики. Новосибирск: Наука, 1980, с. 4-17.

9. Журавлёв Ю. И., Рязанов В. В., Сенъко О. В. Распознавание. Математические методы. Программная система. Практические применения.// М.: ФАЗИС, 2006. — 176 с.

10. ХаркевичА. А. Опознавание образов. // Радиотехника, т. 14, 15. 1959 г.

11. Fisher R. A. The Use of Multiple Measurements in Taxonomic Problems // Annals of Eugenics. — 1936 T. 7. — C. 179-188.

12. Винер H. Кибернетика или управление и связь в животном и машине. // М.: Советское радио, 1958.

13. Винер Н. Кибернетика или управление и связь в животном и машине. 2-е изд. // М.: Советское радио, 1968.

14. Винер Н. Кибернетика и общество. М.: Издательство иностранной литературы, 1958.

15. Фишер Р. А. Статистические методы для исследователей. М.: Гостехиздат, 1954, 267 с.

16. Колмогоров А. Н. Об аналитических методах в теории вероятностей // Успехи математических наук, 1932, №5, с.5-41.

17. Хинчин А. Я. Теория корреляции стационарных стохастических процессов // Успехи математических наук, 1938, №5, с.42-51.

18. Ross Р. Е. .Flash of Genius,. Forbes, pp. 98-104, Nov. 1998.

19. SammonJ. W.A Nonlinear Mapping for Data Structure Analysis,. IEEE Trans. Computer, vol. 18, pp. 401-409, 1969.

20. Watanabe S. Pattern Recognition: Human and Mechanical. New York: Wiley, 1985.

21. Воронцов К. В. Машинное обучение (курс лекций). // www.MachineLearning.ru

22. Вайнцвайг М.Н., Полякова М.П. Формирование понятий и законов на основе анализа динамики зрительных картин // Труды 2-й международной конференции «Проблемы управления и моделирования в сложных системах». Самара, 2000. С.166-170.

23. Вайнцвайг М.Н., Полякова М.П. Архитектура и функции механизма мышления. IEEE AIS'03, CAD-2003 (труды конференции) том.1, М.: Физматлит, 2003. С. 208-213.

24. Вайнцвайг М. И., Полякова М. П. Архитектура системы представления зрительных динамических сцен // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 261-263.

25. Вайнцвайг М. Н., Полякова М. П. О моделировании мышления // От моделей поведения к искусственному интеллекту. -М.: УРСС, 2006. С. 280-286.

26. Вайнцвайг М. Н. Об ускорении процессов обучения и принятия решений // Математические методы распознавания образов, ММРО-13, Москва, 2007. С. 13-16.

27. Вапник В. Н., Червоненкис А. Я. Теория распознавания образов. Статистические проблемы обучения М.: Наука, 1974.

28. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979.

29. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976.

30. Hastie Т., Tibshirani R., Friedman J. The Elements of Statistical Learning. -Springer, 2001. ISBN 0-387-95284-5.

31. Лагутин M. Б. Наглядная математическая статистика. M.: П-центр, 2003.

32. Орлов А. И. Нечисловая статистика. М.: МЗ-Пресс, 2004.

33. Шлезингер М., Главач В. Десять лекций по статистическому и структурному распознаванию. Киев: Наукова думка, 2004.

34. Шурыгин А. М. Прикладная стохастика: робастность, оценивание, прогноз. -М.: Финансы и статистика, 2000.

35. Jordan М. /., Хи L. Convergence results for the EM algorithm to mixtures of experts architectures: Tech. Rep. A.I. Memo No. 1458: MIT, Cambridge, MA, 1993.

36. Parzen E. On the estimation of a probability density function and mode // Annals of Mathematical Statistics. 1962. - Vol. 33. - Pp. 1065-1076. http://citeseer.ist.psu.edu/parzen62estimation.html.

37. Rosenblatt M. Remarks on some nonparametric estimates of a density function // Annals of Mathematical Statistics. 1956. - Vol. 27, No. 3. - Pp. 832-837.

38. Wu C. F. G. On the convergence properties of the EM algorithm // The Annals of Statistics. 1983. - No. 11. - Pp. 95-103. http://citeseer.ist.psu.edu/78906.html.

39. Vapnik V. Statistical Learning Theory. -Wiley, New York, 1998.

40. Айзерман M. А., Браверман Э. M, Розоноэр JI. И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970. 320 pp.

41. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. Новосибирск: ИМ СО РАН, 1999.

42. McCulloch W. S., Pitts W. A logical calculus of ideas immanent in nervous activity//Bulletin of Mathematical Biophysics. 1943.- No. 5. Pp. 115-133.

43. LeCun Y., Matan O., Boser В., Denker J.S., Henderson D., Howard R.E., Hubbard W., Jackel L.D., Baird H.S. Handwritten Zipcode Recognition With Multilayer Networks // Proc. of International Conference on Pattern Recognition, Atlantic City, 1990.

44. LeCun Y, Bottou L., Orr G. В., Muller K.-R. Efficient BackProp // Neural Networks: tricks of the trade. Springer, 1998.

45. Головко В. А. Нейронные сети: обучение, организация и применение. М.: ИПР-ЖР, 2001.

46. Krzyzak A., Dai W., Suen C.Y. Unconstrained Handwritten Character Classification Using Modified Backpropagation Model// Proc. 1st Int. Workshop on Frontiers in Handwriting Recognition, Montreal, Canada, P. 155-166, 1990.

47. Seong-Wang Lee, Young Joon Kim. Off-line Recognition of Totally Unconstrained Handwritten Numerals Using Multilayer Cluster Neural Network. // Proc. of the 12th IAPR International Conference on Pattern Recognition. Jerusalem, Israel. 1994. P. 507-509.

48. Schapire R. The Strength of Weak Learnability // Machine Learning. No.5. P. 197-227 (1990).

49. Drucker H., Schapire R., Simard P. Boosting Performance in Neural Networks. // International Journal of Pattern Recognition and Artificial Intelligence. No.7. P. 705720. (1993).

50. Martin, G.L., Pitman, J. A. Recognizing hand-printed letters and digits using backpropagation learning. Neural Computation. No.3. 1991. P. 258-267.

51. Fukushima, K. Neocognition: a hierarchical neural network capable of visual pattern recognition. Neural Networks 1 (2). 1988. P. 119-130.

52. Knerr, S., Personnaz, L. & Dreyfus, G. Handwritten digit recognition by neural networks with single-layer training. IEEE Transactions on Neural Networks. No.3, 962-968. (1992)/

53. Bishop С. M. Pattern Recognition and Machine Learning. Springer, Series: Information Science and Statistics, 2006. P. 740.

54. Fine S., Scheinberg K. INCAS: An incremental active set method for SVM: Tech.rep.: 2002.http://citeseer.ist.psu.edu/fme02incas.html.

55. Hastie Т., Tibshirani R., Friedman J. The Elements of Statistical Learning. Springer, 2001.

56. Piatt J. C. Fast training support vector machines using sequential minimal optimization // Advances in Kernel Methods / Ed. by B. Scholkopf, С. C. Burges, A. J. Smola. MIT Press, 1999. Pp. 185-208.

57. Shawe-Taylor J., Cristianini N. Robust bounds on generalization from the margin distribution: Tech. Rep. NC2-TR-1998-029: Royal Holloway, University of London, 1998. http://citeseer.ist.psu.edu/shawe-taylor98robust.html.

58. Smola A., Bartlett P., Scholkopf В., Schuurmans D. Advances in large margin classifiers. MIT Press, Cambridge, MA. 2000. http://citeseer.ist.psu.edu/article/smolaOOadvances.html.

59. Tipping M. The relevance vector machine // Advances in Neural Information Processing Systems, San Mateo, CA. Morgan Kaufmann, 2000. http://citeseer.ist.psu.edu/tippingOOrelevance.html.

60. Vapnik V., Chapelle O. Bounds on error expectation for support vector machines // Neural Computation. 2000. Vol. 12, No. 9. Pp. 2013-2036. http://citeseer.ist.psu.edu/vapnik99bounds.html.

61. Лоусон Ч., Хенсон P. Численное решение задач метода наименьших квадратов. М.: Наука, 1986.

62. Lee, Y. Handwritten digit recognition using К neares-neighbor, radial-basis function, and back-propagation neural networks. Neural Computation, 1991. no.3, P.440-449.

63. Хардле В. Прикладная непараметрическая регрессия. М.: Мир, 1993.

64. Донской В. И. О метрических свойствах кратчайших эмпирических закономерностей // Уч. записки ун-та им. В. И. Вернадского. -2003. №2. - С. 143147.

65. Загоруйко Н. Г., Елкина В. Н, Киприянова Т. П. Пакет Прикладных Программ ОТЭКС для Обработки Таблиц Экпериментальных данных. Версия 4.0 www.math.nsc.ru/АР/oteks/Russian/.Springer, 2001.

66. Белозерский JI.A. Современный взгляд на гипотезу компактности //Штучний штелект (Донецк). 2005. №3. С. 6-12.

67. Гуров С.И., Потепалов Д.Н., Фатхутдинов H.H. Решение задач распознавания с невыполненной гипотезой компактности. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. М.: МАКС Пресс, 2007. С.27 29.

68. Гранкин М.В., Гуров С. И, Фатхутдинов И. Н. Определение областей компетентности алгоритмов при невыполненной гипотезе компактности // Штучний штелект (Донецк). -2006. -№2. -С. 88-98.

69. Schapire R. The Strength of Weak Learnability, Machine Learning. 1990. No.5 197-227.

70. H.Drucker, R.Schapire, P.Simard. "Boosting Performance in Neural Networks." International Journal of Pattern Recognition and Artificial Intelligence, 1993. no.7. P. 705-720.

71. Арлазаров B.JI., Астахов А.Д., Троянкер В.В., Котович Н. В. Адаптивное распознавание символов. // Интеллектуальные технологии ввода и обработки информации, М.: Эдиториал УРСС, 1998. С. 39-56.

72. Арлазаров В.Л., Славин O.A. Алгоритмы распознавания и технологии ввода текстов в ЭВМ. // Информационные технологии и вычислительные системы 1996, N 1. С. 48-54

73. Duin R.P. W, De Ridder D., Tax D.M.J. Experiments with a featureless approach to pattern recognition. Pattern Recognition Letters, 1997, Vol. 18, No. 11-13, pp. 1159-1166.

74. Малинецкий Г.Г. Нелинейная динамика: подходы, результаты, надежды. — М.: «УРСС», 2006.

75. Поспелов Д. А. Становление информатики в России. www.raai.org/about/persons/pospelov/pages/stanovl.htm

76. Черепнин A.A. Метрический подход к проблеме оценивания ошибок алгоритмов классификации. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. -М.: МАКС Пресс, 2007. С.69 -71.

77. Рудаков К.В. Универсальные и локальные ограничения в проблеме коррекции эвристических алгоритмов классификации // Кибернетика. 1987. №2. С. SO-SS.

78. Рудаков КВ. Полнота и универсальные ограничения в проблеме коррекции эвристических алгоритмов классификации // Кибернетика. 1987. №3. С. 106— 109.

79. Рудаков КВ. Симметрические и функциональные ограничения для алгоритмов классификации // Кибернетика. 1987. №4. С. 73-77.

80. Рудаков КВ., Черепнин A.A., Чехович Ю.В. О метрических свойствах пространств задач классификации // Доклады РАН. 2007. Т. 416, №4.

81. Черепнин A.A. О радиусах разрешимости и регулярности задач распознавания // всеросс. конф. ММРО-11, Пущино, 2006. С. 210-211.

82. Черепнин A.A. Об оценках регулярности задач распознавания и классификации//ЖВМиМФ. 1993. №1. С. 155-159.

83. Miller A. Subset selection in regression. Chapman & Hall/CRC, 2002.

84. Ветров Д.П., Кропотов Д.А. О выборе наилучшего квадратичного регуляри-затора в обобщенных линейных моделях классификации. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. М.: МАКС Пресс, 2007. С.96 98.

85. Тимофеев А.В. Оптимальный синтез, и минимизация сложности генно-нейронных сетей по генетическим базам данных. Нейрокомпьютеры: разработка и применение, № 5-6, 2002, с. 34-39.

86. Тимофеев А.В., Шибзухов З.М., Шеожев А.М. Синтез нейросетевых архитектур по многозначному дереву решений. Нейрокомпьютеры: разработка и применение, № 5-6, 2002, с. 44-49.

87. Тимофеев А.В. Эволюция нейроинформатики: от персептронов к квантовым нейрокомпьютерам. Нейрокомпьютеры: разработка и применение, № 5-6, 2002, с. 107-115.

88. Ветров Д.П., Кропотов Д.А. Алгоритмы выбора моделей и построения коллективных решений в задачах классификации, основанные на принципе устойчивости. М.: КомКнига, 2006.

89. Timofeev A.V. Intelligent Control Applied to Non-Linear Systems and Neural Networks with Adaptive Architecture -Journal of Intelligent Control, Neurocomputing and Fuzzy Logic, 1997, Vol.l, N1, pp. 1-18.

90. Тимофеев А.В. Методы синтеза диофантовых нейросетей минимальной сложности . -Доклады Академии Наук , 1995, т.301, № 3, с.1106-1109.

91. Тимофеев А.В. Методы обучения и самоорганизации полиномиальных нейронных сетей в задачах распознавания образов. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 187-191.

92. Blake С., Merz С. UCI repository of machine learning databases: Tech, rep.: Department of Information and Computer Science, University of California, Irvine, CA, 1998.

93. Ивахненко А.Г., Надирадзе А.Б., Ивахненко Г.А., Савченко Е.А. Развитие алгоритмов самоорганизации по методу группового учета аргументов. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 87-93.

94. Кормен Т., Лейзерсон Ч, Ривест Р. Алгоритмы: построение и анализ. МЦНМО, Москва, 2001.

95. Dobkin D., Lipton R.J. Multidimensional searching problems. SIAM Journal of Computing, 5(2), 1976, pp. 181-186.

96. Clarkson K. A randomized algorithm for closest-point queries. SIAM Journal of Computing, vol. 17, 1988, pp. 830-847.

97. Meiser S. Point location in arrangements of hyperplanes. Information and Computation, vol. 106(2), 1993, pp. 286-303.

98. Agarwal P.K., Mutusek J. Ray shooting and parametric search. In Proceedings of the 24th Symposium on Theory of Computing, 1992, pp. 517-526.

99. Кляцкин В. M., Котович Н. В. Применение методов вычислительной геометрии для поиска линейных объектов. В сборнике трудов Института системного анализа РАН "Управление информационными потоками", 2002.

100. Samet Н. The Quadtree and Related Hierarchical Data Structures, ACM Computing Surveys, vol. 16(2) , 1984, pp. 187-260.

101. Friedman J. H., Bently J.L., Finkel R.A. An algorithm for finding best matches in logarithmic expected time. In ACM Transaction on Mathematical Software, vol. 3, 1977, pp. 209-226.

102. Guttman A. R-tree: a dynamic index structure for spatial searching // Proceedings of the ACM SIGMOD International Conference on Management of Data, 1984, pp. 71-79.

103. Roussopoulos N., Kelley S., and Vincent F. Nearest Neighbor Queries. Proceedings of the ACM SIGMOD International Conference on Management of Data, 1995, pp. 71-79.

104. Bently J. L. Multidimensional binary search trees used for associative searching. Commun. ACM 18, 9 (Sept.), 1975, pp. 509-517.

105. Hjaltason G.R., Samet H. Ranking in Spatial Databases. Proceedings of the 4th International Symposium on Large Spatial Databases, 1995, pp. 83-95.

106. Hjaltason G.R., Samet H. Distance Browsing in Spatial Databases. ACM Trans. Database Systems, vol. 24(2), 1999, pp. 265-318.

107. Cheung K., Fu A. Enhanced nearest neighbour search on the r-tree. In ACM SIGMOD Record, vol. 27:3, 1998, pp. 16-21.

108. Apostolos Papadopoulos, Yannis Manolopoulos. Performance of Nearest Neighbor Queries in R-Trees Source, Proceedings of the 6th International Conference on Database Theory, 1997, pp. 394 408.

109. Berchtold S., Bohm C., Keim D., Krebs F., Kriegel H. P. On optimizing nearest neighbor queries in high-dimensional data spaces. Proc. 8th ICDT Conference, 2001, pp. 435-449.

110. Tao Y., Zhan J., Papadias D., Mamouli, N. An Efficient Cost Model for Optimization of Nearest Neighbor Search in Low and Medium Dimensional Spaces. IEEE Transactions on Knowledge and Data Engineering (TKDE), 16(10), 2004, 11691184.

111. Арлазаров В.В., Постников В.В., Шоломов Д.Л. Cognitive Forms система массового ввода структурированных документов. В сборнике трудов Института системного анализа РАН "Управление информационными потоками", 2002 г.

112. Орлов А.И. Эконометрика. Учебник. М.: Издательство «Экзамен», 2004.

113. Bunke О. Z. Wahrscheinlichkeitstheor. und verw. Geb., 1967, Bd 7, № 2, S. 131 -46.

114. Майсурадзе А. И. Гомогенные и ранговые базисы в пространствах метрических конфигураций // ЖВМиМФ. 2006. Т. 46, №2. С. 344-361. 119 Deza М., Dutour М. Data mining for cones of metrics, quasi-metrics, semimet-rics, and super-metrics. 2006.

115. Громов И.А. Методы коррекции локально возмущенных полуметрик. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. М.: МАКС Пресс, 2007. С. 108 111.

116. Иофина Г.В., Кропотов Д.А. Поиск оптимальной метрики в задачах классификации с порядковыми признаками. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. М.: МАКС Пресс, 2007. С. 137- 140.

117. Журавлев Ю. И. Избранные научные труды М.: Магистр, 1998.

118. A.G. Ivakhnenko. Polynomial Theory of Complex Systems // IEEE Transactions, Man, and Cybernetics, Vol. SMC-1, № 4,

119. October 1971, pp. 364-378.

120. Ивахненко А.Г. Метод Группового Учета Аргументов конкурент метода стохастической аппроксимации. - Автоматика, 1968, №3, с. 57-73.

121. Ивахненко А. Г., Юрачковский Ю. П. Моделирование сложных систем по экспериментальным данным. М.: Радио и связь, 1987.

122. Mullin М, Sukthankar R. Complete cross-validation for nearest neighbor classifiers // Proceedings of International Conference on Machine Learning. 2000. Pp. 639-646. http://citeseer.ist.psu.edu/309025.html.

123. B.B. Крепец. Нейронные сети максимальной устойчивости как альтернатива робастным нейронным сетям. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 112-116.

124. З.М. Шибзухов. Конструктивный метод обучения с учителем рекуррентного £П~нейрона. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 216-219.

125. Shibzoukhov Z.M. Contructive Training of Boolean-Valued Neural

126. Networks of the Polynomial Type // Pattern Recognition and Image Analisys. 2001. Vol. 11, №1. PP.95-96.

127. Шибзухов З.М. Рекуррентные методы конструктивного обучения нейронных сетей из логико-арифметических ЕП нейронов // Нейрокомпьютеры: разработка и применение. 2002. №5. - С.50-57.

128. Шибзухов З.М. Рекуррентный метод конструктивного обучения алгебраических ЕП нейронов и - 1П нейромодулей // Доклады РАН. 2003. Т.388, №2. -С. 174-176.

129. Шибзухов З.М. Рекуррентный метод конструктивного обучения некоторых сетей алгебраических ИП нейронов и - ЕП нейромодулей // Журнал вычислительной математики и математической физики. 2003. Т.43, №8. - С. 1298-1310.

130. Гуров С.И., Уткина О.Ф. Определение вероятности ошибки распознавания с восстановлением её априорного распределения. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 56-58.

131. Яблонский С. В. Введение в дискретную математику. М.: Наука, 1986.

132. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного // Докл. АН СССР. 1958. - Т. 114, № 5. - С. 953-956.

133. Stone M. N. The generalized Weierstrass approximation theorem // Math. Mag. 1948. Vol. 21. - Pp. 167-183, 237-254.

134. Rummelhart D. E., Hinton G. E., Williams R. J. Learning internal representations by error propagation // Vol. 1 of Computational models of cognition and perception, chap. 8. Cambridge, MA: MIT Press, 1986. Pp. 319-362.

135. Малинецкий Г.Г. Математические основы синергетики. Хаос, структуры, вычислительный эксперимент. —М.: «УРСС», 2005.

136. Ивахненко А.Г. Долгосрочное прогнозирование и управление сложными системами. Киев; Техника, 1975 - 311с.

137. Васильев В.И. Теория редукции в проблемах экстраполяции // Проблемы управления и информатики. 1996. -№1,2 - с.239-281.

138. Васильев В.И. Комбинированные индуктивные методы в редукционных алгоритмах. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 35-37.

139. Красоткина О.В., Моттль В.В., Марков М. Р., Мучник И.Б. Адаптивный нестационарный регрессионный анализ. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. М.: МАКС Пресс, 2007. С.149- 154.

140. Айда-заде K.P., Гасанов Дж.З., Мустафаев Э.Э. Об использовании баз знаний для повышения интеллектуальности систем распознавания. // Математические методы распознавания образов, ММРО-11, Москва, 2003. С. 6-7.

141. Журавлев Ю. И., Гуревич И.Б. Распознавание образов и анализ изображений // Искусственный интеллект в 3-х кн. Кн 2. Модели и методы: Справочник под ред. Д.А. Поспелова. Москва: Радио и связь, 2005. С. 149-190.

142. Yankovskaya А. Е. Test Pattern Recognition with the Use of Genetic Algorithms // Patt. Recog. and Image Anal. 1999. -Vol. 9. -No. 1. -P. 121-123.

143. Петровский А.Б. Упорядочивание и классификация объектов с противоречивыми признаками // Новости искусственного интеллекта. 2003. - №4. - С. 34^3.

144. Янковская А. Е., Колесникова С. И. О применении мультимножеств к задаче вычисления весовых коэффициентов признаков в интеллектуальных распознающих системах // Искусственный интеллект, Украина. Донецк: Наука i ocBiTa., 2004. -№2. -С. 216-220.

145. Колесникова С.И., Янковская А. Е. Статистический подход к оцениванию зависимых признаков в интеллектуальных системах. // Математические методы распознавания образов. 13-я Всероссийская конференция: Сборник докладов. -М.: МАКС Пресс, 2007. С.143 146.

146. Васильев О.M., Ветров Д.П., Кропотов Д.А. Устойчивость обучения метода релевантных векторов. // Математические методы распознавания образов, ММРО-13, Москва, 2007. С. 16-18.

147. Shashua A., Levin A. Ranking with large margin principle: two approaches // Advances in Neural Information Processing Systems, 2003. C. 937-944.

148. Kalaba R., Tesfatsion L. Time-varying linear regression via flexible least squares.International Journal on Computers and Mathematics with Applications. -Vol. 17.-Pp. 1215-1245.

149. Sebestyen G.S. Decision Making Processes in Pattern Recognition, MacMillan, New York, 1962.

150. Nilson N. J. Learning Machines, McGraw-Hill, New York, 1965.

151. Schürmann J. Polynomklassifikatoren, Oldenbourg, München, 1977.

152. Schürmann J. Pattern Classification, John Wiley&Sons, Inc., 1996.

153. Albert A.E. and Gardner L.A. Stochastic Approximation and Nonlinear Regression // Research Monograph 42. MIT Press, Cambridge, MA, 1966.

154. Becker D. and Schürmann J. Zur verstärkten Berücksichtigung schlecht erkennbarer Zeichen in der Lernstichprobe II Wissenschaftliche Berichte AEG-Telefimken 45, 1972, pp. 97- 105.

155. Pao Y.-H. The Functional Link Net: Basis for an Integrated Neural-Net Computing Environment II in Yoh-Han Pao (ed.) Adaptive Pattern Recognition and Neural Networks, Addisson-Wesley, Reading, MA, 1989, pp. 197-222.

156. Franke J. On the Functional Classifier, in Association Française pour la Cybernetique Economique et Technique (AFCET), Paris // Proceedings of the First International Conference on Document Analysis and Recognition, St. Malo, 1991, pp.481489.

157. Гавриков M.Б., Пестрякова H.B. Метод полиномиальной регрессии в задачах распознавания печатных и рукопечатных символов. Препринт ИПМ им. М.В.Келдыша РАН, 2004, №22.

158. Арлазаров В.Л., Логинов A.C., Славин O.A. Характеристики программ оптического распознавания текста // Программирование № 3, 2002, с. 45 63

159. Мисюрев А.В. Использование искусственных нейронных сетей для распознавания рукопечатных символов // Сборник трудов ИСА РАН «Интеллектуальные технологии ввода и обработки информации», 1998, с. 122-127

160. Славин О.А., Корольков Г.В., Болотин П.В. Методы распознавания грубых объектов // Сборник трудов ИСА РАН «Развитие безбумажных технологий в организационных системах», 1999, с. 331-355.

161. Barroso J., Bulas-Cruz J., Rafael J., Dagless E. L. Identifica9áo Automática de Placas de Matrícula Automóveis // 4.as Jornadas Luso-Espanholas de Engenharia Electrotécnica, Porto, Portugal, Julho (1995), ISBN 972-752-004-9.

162. СеберДж. Линейный регрессионный анализ. М.:"Мир", 1980.

163. Ю.В.Линник. Метод наименьших квадратов и основы математико статистической теории обработки наблюдений. М.:"Физматлит", 1958.

164. Гавриков М.Б., Пестрякова Н. В., Славин О.А, Фарсобина В.В. Развитие метода полиномиальной регрессии и практическое применение в задаче распознавания // Препринт ИПМатем. АН СССР, М., 2006, №25, 21 стр.

165. Гавриков М.Б., Мисюрев А.В., Пестрякова Н.В., Славин О.А. Об одном методе распознавания символов, основанном на полиномиальной регрессии. // Автоматика и Телемеханика. 2006, №2, с. 119-134.

166. Гавриков М.Б., Пестрякова Н.В., Усков А.В., Фарсобина В.В. О некоторых свойствах оценки метода распознавания символов, основанного на полиномиальной регрессии //Препринт ИПМатем. РАН, М., 2008, №7, 28 стр.

167. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. Анализ метода распознавания символов, основанного на полиномиальной регрессии //Препринт ИПМатем. РАН, М., 2008, №25, 28 стр.

168. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. О некоторых свойствах метода распознавания символов, основанного на полиномиальной регрессии //Препринт ИПМатем. РАН, М., 2007, №69, 20 стр.

169. Пестрякова Н.В. Структуры в распознавании. Информационные технологии и вычислительные системы. 2009, №1, С. 58-71.

170. Гавриков М.Б., Пестрякова Н.В., Усков A.B., Фарсобина В.В. Зависимость качества распознавания от взаимного расположения среднестатистических растров и векторов баз обучения и распознавания //Препринт ИПМатем. РАН, М., 2009, №19, 28 стр.

171. Гавриков М.Б., Пестрякова Н.В., У сков A.B., Фарсобина В.В. Об оценках распознавания и структуре расположения изображений символов //Препринт ИПМатем. РАН, М., 2009, №49, 28 стр.

172. Пестрякова Н.В. Динамика качества распознавания при нарастании степени различия баз обучения и распознавания. Информационные технологии и вычислительные системы. 2010, №2, С. 75-82.

173. Гавриков М.Б., Пестрякова Н.В., У сков A.B., Фарсобина В.В. О распознавании модифицированной обучающей базы. (Часть 1) //Препринт ИПМатем. РАН, М., 2010, №9, 28стр.

174. Гавриков М.Б., Пестрякова Н.В., У сков A.B., Фарсобина В.В. О распознавании модифицированной обучающей базы. (Часть 2) //Препринт ИПМатем. РАН, М., 2010, №13, 16стр.

175. Смит Гарри, Дрейпер Норман. Прикладной регрессионный анализ. // М.: Изд-во Вильяме, 2007.

176. Пестрякова Н.В. Метод распознавания символов, основанный на полиномиальной регрессии. //М.: «КРАСАНД», 2011. 144с.