Методы кодирования текстовой информации для построения нейросетевых классификаторов документов тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Корж, Василий Вадимович

• Корж, Василий Вадимович
• кандидат технических наук
• 2000

Оглавление диссертации кандидат технических наук Корж, Василий Вадимович

ВВЕДЕНИЕ

глава 1. задача классификации текстовых документов

1.1. Задача классификации.

1.1.1. Особенности решения задачи классификации текстовых документов

1.1.2. Техническая постановка задачи классификации текстовых документов

1.1.3. Математическая постановка задачи классификации текстовых документов

1.2. Нейрокомпьютинг — способ решения сложных задач.

1.2.1. Нейроны и нейронные сети.

1.2.2. Реализации нейронных сетей

1.3. Выводы по первой главе

ГЛАВА 2. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ РЕШЕНИЯ ЗАДАЧИ КЛАССИФИКАЦИИ ТЕКСТОВЫХ ДОКУМЕНТОВ. РАЗРАБОТКА АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ КЛАССИФИКАЦИИ ТЕКСТОВ (АСКТ)

2.1. Метод бионной системы кодирования текстов

2.1.1. Понятия и определения в методе бионной системы кодирования текстов

2.1.2. Модель АСКТ на основе метода бионной системы кодирования

2.1.3. Формирование признаков классов' и.'кодирование текстов в методе бионной системы кодирования текстов.'.

2.1.4. Определение информативности признаков и границ разделения частот признаков в методе бионной системы кодирования текстов

2.1.5. Отбор и группирование информативных признаков в методе бионной системы кодирования текстов

2.1.6. Формирование входов нейронных сетей в методе бионной системы кодирования текстов

2.2. Метод самонастраивающегося словаря ключевых слов.

2.2.1. Понятия и определения в методе самонастраивающегося словаря ключевых слов.

2.2.2. Модель АСКТ на основе метода самонастраивающегося словаря ключевых слов.

2.2.3. Формирование слов (формирование признаков классов и кодирование текстов) в методе самонастраивающегося словаря ключевых слов

2.2.4. Определение информативности слов в методе самонастраивающегося словаря ключевых слов.

2.3. Нейросетевой подход к решению задачи классификации

2.4. Формирование классификаторов.

2.5. Выводы по второй главе.

ГЛАВА 3. ИНЖЕНЕРНОЕ РЕШЕНИЕ ЗАДАЧИ ПОСТРОЕНИЯ АСКТ

3.1. Программно-алгоритмическое обеспечение решения задачи классификации текстов.

3.1.1. АСКТ на основе метода бионной системы кодирования

3.1.2. АСКТ на основе метода самонастраивающегося словаря ключевых слов

3.2. Хранение данных, форматы файлов.

3.2.1. Входы программы подготовки данных АСКТ.

3.2.2. Выходы программы подготовки данных АСКТ на основе метода бионной системы кодирования

3.2.3. Выходы программы подготовки данных АСКТ на основе метода самонастраивающегося словаря ключевых слов

3.3. Описание программы подготовки данных АСКТ на основе метода бионной системы кодирования

3.3.1. Режим обучения в программе подготовки данных АСКТ на основе метода бионной системы кодирования

3.3.2. Режим эксплуатации в программе подготовки данных АСКТ на основе метода бионной системы кодирования

3.3.3. Дополнительные возможности в программе подготовки данных АСКТ на основе метода бионной системы кодирования

3.4. Описание программы подготовки данных АСКТ на основе метода самонастраивающегося словаря ключевых слов.

3.4.1. Режим обучения в программе подготовки данных АСКТ на основе метода самонастраивающегося словаря ключевых слов

3.4.2. Режим эксплуатации в программе подготовки данных АСКТ на основе метода самонастраивающегося словаря ключевых слов

3.5. Описание прораммы эмуляции нейронных сетей

3.6. Повышение эффективности.

3.6.1. Повышение эффективности метода бионной системы кодирования

3.6.2. Повышение эффективности метода самонастраивающегося словаря ключевых слов класса.

3.7. Выводы по третьей главе.

ГЛАВА 4. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ ПРЕДЛОЖЕННЫХ МЕТОДОВ КЛАССИФИКАЦИИ

4.1. Задача классификации текстов в крупных организациях. Характеристика данных

4.2. Эксперимент с аскт на основе метода бионной системы кодирования.

4.2.1. Подготовка входов нейронных сетей

4.2.2. Обучение нейронных сетей

4.2.3. Тестирование обученных нейронных сетей

4.2.4. Улучшение полученных результатов

4.2.5. Результаты применения метода бионной системы кодирования текстов

4.3. Эксперимент с аскт на основе метода самонастраивающегося словаря ключевых слов.

4.3.1. Обучение и тестирование классификатора

4.3.2. Результаты применения метода самонастраивающегося словаря ключевых слов.

4.4. Иерархическая классификация

4.5. Выводы по четвертой главе.

Введение диссертации (часть автореферата) на тему «Методы кодирования текстовой информации для построения нейросетевых классификаторов документов»

На рубеже ХХ-го и XXI-го веков на первый план выдвинулись проблемы упорядочения растущего разнообразного документооборота. Особое место среди этих проблем занимает проблема семантической классификации документов для хранения по темам, их дальнейшей обработки или работы с ними. Как правило, человек (автор или эксперт) прочитывает документ, проводит, если необходимо, индексацию текстов. Он составляет списки ключевых слов, заполняет архивные поля (автор, атрибуты изданий и другие информационные параметры документов) . Он также осуществляет предобработку документов для последующего анализа текста: подчеркивает места текста, на которые специалистам следует обратить внимание, создает копии графических фрагментов (фотографий, схем, графиков.) . Эффективное решение этой проблемы невозможно без создания надежных систем автоматизированной классификации документов.

Классически задача классификации ставится следующим образом. Многомерное пространство признаков разделено на несколько областей, называемых классами. Область, соответствующая каждому классу, может иметь произвольную форму. Для некоторых объектов этого пространства (обучающей выборки) известна принадлежность к классам, а для других ее требуется определить, используя данные обучающей выборки .

Классификация текстовых документов является нетрадиционной задачей прикладного анализа сложных информационных объектов с плохо формализуемой структурой связей как между элементами внутри объектов, так и между самими объектами.

Длительная практика изучения процессов, связанных с классификацией текстов, показала, с одной стороны, необходимость выделения информационных признаков классов текстов, с другой стороны, необходимость разработки математических моделей и вычислительных процедур, позволяющих построить оптимальный классификатор текстов.

Существующие подходы к решению задачи классификации предполагают наличие в системе обработки текстов автоматического традиционного словаря, отражающего предметную область. Специфика объекта исследования и сформулированные в работе принципы построения системы классификации налагают ограничения на использование традиционных словарей при автоматической классификации текстов.

Реальные процессы классификации зависят от индивидуальных особенностей конкретных текстов. Они предполагают интерактивные процедуры применения методов и алгоритмов цифровой обработки сигналов .

Решение задачи классификации текстов опирается на использование ЭВМ или других цифровых устройств, реализующих типовые векторно-матричные операции при последовательно-параллельной организации вычислений. Эффективность этих процедур может быть существенно повышена за счет сопряжения классических методов и алгоритмов обработки текстов с методами нейрокомпьютинга.

Нейрокомпьютинг — это научное направление, занимающееся разработкой вычислительных систем шестого поколения — нейрокомпьютеров, которые состоят из большого числа параллельно работающих простых вычислительных элементов (нейронов).

Нейрокомпьютеры, классическое программирование которых заменяется обучением, обнаружили высокую производительность, а также по-мехо- и отказоустойчивость получаемых с их помощью решений для широкого ряда многомерных нелинейных задач. Построенные в результате обучения на примерах нейронные сети (НС), как правило, эффективны в тех случаях, когда необходимо решать задачи классификации, диагностики, распознавания образов. Это связано с тем, что обученные НС представляют собой вычислительную среду, являющуюся одновременно и коллективным процессором, и ассоциативной памятью, хранящей обобщенный опыт решения задач, приобретенный в процессе обучения.

Актуальность. Диссертационная работа посвящена актуальной теме — разработке эффективного математического и программного инструментария для решения задачи классификации текстов на основе комбинаторного анализа частотных свойств информационных признаков классов текстов.

Объект исследования. Объектом исследования данной диссертации являются большие оперативные потоки короткой неструктурированной текстовой информации на русском языке, такие как сообщения информационных агентств, информация Internet (FAQ, Chat и т.п.), статьи из периодической печати, телеграфные и телетайпные сообщения и т.п. Такие сообщения могут содержать сленг, орфографические ошибки, неологизмы, различнорусифицированные иностранные термины, технические искажения и т.д.

Цель работы. Целью проведения научных исследований является создание математического и программно-алгоритмического обеспечения процедур кодирования текстов, а также применение разработанных процедур для решения практических задач текстовой классификации.

Для достижения поставленной цели в работе:

• исследованы классические и нейросетевые методы обработки текстовой информации;

• предложены оригинальные методы кодирования текстовых документов для их последующей классификации;

• создано программно-алгоритмическое обеспечение решения задачи классификации текстов;

• решена задача классификации русскоязычных текстов.

Методы исследования. При разработке математического и программно-алгоритмического обеспечения в диссертационной работе используются методы нелинейной оптимизации, теории функций, теории чисел, классические методы обработки текстовой информации и классификации, методы обучения нейронных сетей.

Научная новизна работы. Новизна заключается в следующем:

• показано, что эффективность решения задачи классификации текстов может быть существенно повышена за счет сопряжения классических алгоритмов с методами нейросетевого моделирования;

• предложены и разработаны оригинальные методы кодирования текстовых документов множествами и кортежами, выделяющие в текстах характерные классификационные признаки, что позволило построить нейросетевые способы решения задачи классификации .

Практическая ценность. Выполнен анализ исследований и разработок в области использования нейрокомпьютеров в задаче обработки и классификации текстов, в результате чего:

• разработана методика построения адаптируемых нейросетевых классификаторов текстов;

• решены практические задачи классификации русскоязычных текстов.

По тематике диссертационной работы выполнялись исследования по темам № 96-3-022-738 и № 99-2-503-400 в МИФИ(ТУ). Эти исследования подробно описаны в соответствующих отчетах о НИР [86-92]. Разработанные инженерные решения были использованы в МИФИ:

• при выполнении договорных работ "Разработка нейросетевых подходов для решения задач информационного поиска и комбинаторной оптимизации" между ВЧ № 54 93 9 и МИФИ (ТУ) по теме № 9 6-3022-738,

• при выполнении работ "Системы контроля и управления процессами в атомной энергетике и при разработке газовых месторождений" по теме № 99-2-503-400.

На защиту выносятся:

• теоретическое обоснование методики кодирования текстовой информации множествами и кортежами, позволяющей применять ней-росетевые способы решения задачи классификации текстов;

• интерактивная процедура решения практических задач классификации текстов с использованием нейронных сетей.

Границы разрабатываемой темы. Типы анализируемых с помощью разработанного математического и программно-алгоритмического аппарата данных ограничены множеством математических моделей, используемых для их описания. Исследованные в работе методы обработки текстов и многослойные однородные нейронные сети могут быть реализованы на большинстве аппаратных средств. Дополнительно учтен ряд требований и ограничений, связанных с эмуляцией нейросетевых решений на персональных компьютерах.

Раскрытие результатов. Результаты диссертационной работы были раскрыты в б печатных работах [80-8 5] и 7 отчетах о научно-исследовательских работах [86-92].

Апробация работы. Теоретические положения и практические результаты были доложены на следующих конференциях и семинарах:

• VII Международный научно-технический семинар "Современные технологии в задачах управления, автоматики и обработки информации", Алушта, МАИ, сентябрь 1998 [81, 82];

• Всероссийская научно-техническая конференция "Нейроинформатика-99", Москва, МИФИ, январь 1999 [83];

• VIII Международный научно-технический семинар "Современные технологии в задачах управления, автоматики и обработки информации", Алушта, МАИ, сентябрь 1999 [84];

• Всероссийская научно-техническая конференция "Нейроинформатика-2 000", Москва, МИФИ, январь 2000 [85].

Всего 5 выступлений.

Структура и объем работы. Диссертация содержит 4 главы, введение и заключение, 5 приложений, 19 рисунков, 18 таблиц.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Корж, Василий Вадимович

4.5. Выводы по четвертой главе

1. Приведена характеристика реальных данных, полученных от Заказчика темы и используемых в эксперименте.

2. Получены в результате проведенного вычислительного эксперимента высокие показатели эффективности решения задачи классификации текстов обоими предложенными методами для хорошо наполненных классов, т.е. подтверждено, что предложенные методы применимы на больших массивах данных.

ЗАКЛЮЧЕНИЕ

В процессе разработки предложенных методов кодирования текстовой информации для построения нейросетевых классификаторов документов, а также в процессе применения предложенных методов для решения практических задач классификации текстов были получены следующие основные результаты.

1. Проанализированы методы решения задачи классификации и обработки текстовой информации. Выявлены особенности потоков текстов, затрудняющие использование систем автоматической классификации, основанных на традиционных словарях, а также особенности, приводящие к отказу таких систем. Сформулированы принципы построения системы классификации текстов. Даны техническая и математическая постановки задачи семантической классификации текстов, учитывающие особенности потоков текстов и принципы построения системы классификации. Необходимо создать процедуры разделения большого потока необработанных разнотипных документов произвольного формата на пересекающиеся классы, минимально ориентированные на системы четких словарных и фразеологических конструкций, а также на априорную информацию о структуре организации, проводящей окончательную обработку текстов.

Выделены четыре составляющие задачи классификации текстов:

• формирование признаков классов и кодирование текстов;

• определение информативности признаков классов;

• отбор и группирование информативных признаков;

• построение классификатора.

Отмечено удобство нейросетевой обработки текстов на основе индексирования, построенного на частоте и различительной силе термина, полученного в результате анализа символьного ряда слова, без привлечения традиционных словарей предметной области.

2. Рассмотрено состояние нейрокомпьютинга с позиций применимости нейросетевых подходов к решению задачи классификации.

3. Предложены и разработаны оригинальные методы кодирования текстовой информации:

• метод бионной системы кодирования текстов;

• метод самонастраивающегося словаря ключевых слов.

4. Выбрана архитектура однородной многослойной нейронной сети с оптимизационным (градиентным) методом обучения для решения задачи классификации. Определены параметры алгоритма.

5. Создано программное обеспечение автоматизированной системы классификации текстов на основе предложенных методов с использованием программного эмулятора многослойных нейронных сетей. Описана технология его использования для решения задачи семантической классификации текстов.

6. Получены в ходе вычислительного эксперимента показатели эффективности решения задачи классификации текстов для хорошо наполненных классов, утверждающие применимость предложенных методов на больших массивах данных. Реализована иерархическая классификация.

Полученные результаты диссертации были использованы в МИФИ:

• при выполнении договорных работ "Разработка нейросетевых подходов для решения задач информационного поиска и комбинаторной оптимизации" между ВЧ № 54 939 и МИФИ (ТУ) по теме № 96-3022-738,

• при выполнении работ "Системы контроля и управления процессами в атомной энергетике и при разработке газовых месторождений" по теме № 99-2-503-400, что подтверждено соответствующими документами.

Результаты диссертационной работы были доложены на международных семинарах и конференциях, были отражены в 7 отчетах о НИР и были опубликованы в б печатных работах.

Список литературы диссертационного исследования кандидат технических наук Корж, Василий Вадимович, 2000 год

1. Айзерман М.А., Браверман Э.М., Розоноэр JI.H. Метод потенциальных функций в теории обучения машин. — М: Наука, 1970.384 стр.

2. Апресян Ю.Д., Богуславский И.М., JI.JI. Иомдин и др. Лингвистический процессор для сложных информационных систем. ИППИ РАН. М.: Наука, 1992.

3. Ахапкин Ю.К., Барцев С.И., Всеволодов H.H. Биотехника — новое направление компьютеризации. — М. : Наука, 1990.

4. Барцев С.И. Охонин В.А. Адаптивные сети обработки информации. Красноярск: ИФ СО АН СССР, 1986. Препринт № 59Б.

5. Белоногов Г.Г., Богатырев В.И. Автоматизированные информационные системы. Под ред. К.В. Тараканова. М.: "Сов. радио", 1973.

6. Быковский Ю.А., Оныкий Б.Н., Щербаков И.Б. Двухслойная нейронная сеть: математическая модель и оптоэлектронная реализация. М.: Препринт МИФИ, 005-94, 1994.

7. Вашкевич Н. За семью печатями. — М.: "Дека", 1994.

8. Волгин Л.И., Мишалов С.А. Ранговые процессоры на реляторных коммутационно бинарных нейронах. Докл. ВК "НИ-99". 4.2. -М.:МИФИ, 1999.-с. 43-49.

9. Галушкин А.И. и др. Нейроматематика: методы решения задач на нейрокомпьютерах. — М.: НИИ "Квант", 1990.

10. Ю.Галушкин А.И. Синтез многослойных систем распознавания образов. — М.: Энергия, 1974.

11. Галушкин А.И., Кирсанов Д. В. Заказной цифровой нейрочип. Нейрокомпьютер, № 2, 1992.

12. Гилмор Р. Прикладная теория катастроф. В 2-х томах. М.: Мир, 1984 .

13. Горбань А.H. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей. Сиб. журнал вычислит, мат.- Новосибирск: РАН. Сиб. отделение, 1998.- 1, №1.- С. 1124 .

14. Горбань А.Н. Обучение нейронных сетей. — М.: СП "Параграф", 1991.

15. Дискуссия о нейрокомпьютерах. Под ред. Крюкова В.И., НИВЦ АН СССР, Пущино, 1988.

16. Дуда Р., Харт П. Распознавание образов и анализ сцен.— M. : Мир, 1976.- 512 стр.

17. Евтихеев H.H., Оныкий Б.Н., Перепелица В.В., Щербаков И.Б. Многослойная нейронная сеть и ее реализация на основе оптического вектор-матричного перемножителя. — Нейрокомпьютер, № 1-2, 1994.

18. Журавлев А.П. Звук и смысл. — М. : Просвещение, 1981.

19. Искусственный интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник. Под ред. Д.А. Поспелова. - М.: Радио и связь, 1990 .

20. Калверт Ч. и др. Borland С++ Builder 3. Энциклопедия пользователя: пер. с англ. — К.: лхДиаСофт", 1998. — 800 стр.

21. Колфилд Х.Дж., Кинсер Дж. , Роджерс С.К. Оптические нейронные сети. ТИИЭР, 1989, т.77, № 10.

22. Королев А.Н. Лингвистическое обеспечение информационно-поисковой системы Excalibur RetrievalWare: аналитический аспект. Internet — CIT Forum: http://www.citforum.altai.su/seminars/cis 99/vest2.shtml.

23. Кохонен Т. Ассоциативная память. М.: Мир,1980.

24. Кузнецов И.П. Гипертекстовые технологии на семантической основе. В сб. "Системы и средства информатики", ИПИ РАН. — М. : Наука, ФМ, 1995, вып.7, стр. 86-95.

25. Кузнецов И. П. Механизмы обработки семантической информации.- М.: Наука, 197 8.

26. Кузнецов И. П. Семантические представления. — М. : Наука, 1986.

27. Куликов. В.В., Гаврилов Д.А., Ёлкин С. В. Универсальный искусственный язык НООМ-ДИАЛ. Методические указания для изучающих язык. — М.: "Гэлэкси нэйшт", 1994.

28. Куссуль Э.М. и др. Нейронные классификаторы с распределенным кодированием входной информации. — Нейрокомпьютер, N 3-4,1994, стр. 13-24.

29. Левин В.И. Структурно-логические методы исследования сложных систем. М.: Наука, 1987.

30. Малинецкий Г.Г.,Шакаева М.С. Клеточные автоматы в математическом моделировании иобработке информации. \\ Препринт ИПМ им. Келдыша РАН. 1994. № 57.9.

31. Мейер Д. Теория реляционных баз данных. Пер. с англ. М.: Мир, 1967.

32. Муромский А.А. О сравнении текстов. Препринт ВЦ РАН, 1996. ЗЭ.Мушик Э., Мюллер Г. Методы принятия решений в техническихсистемах. М.; Мир, 198 7.

33. Программирование для Windows в Borland С++. — М. : Бином,1995.

34. Сверхбольшие интегральные схемы и современная обработка сигналов. Пер. с англ. Под ред. С.Гука, Х.Уайтхауза, Т.Кайлата.- М.:- Радио и связь, 1989. 472с.

35. Соловьева Н.С., Сомин H.B. ТЕРМИН-3 система динамического гипертекста. В сб. "Системы и средства информатики", ИПИ РАН. - М.: Наука, ФМ, 1995, вып.7, стр. 95-104.

36. Солтон Дж. Динамические библиотечно-информационные системы. Пер. с англ. М.: Мир, 1979.

37. Страуструп Б. Язык программирования С++. Вторая редакция. — Киев: "ДиаСофт", 1993.

38. Сыслов В. В. Нейросетевой классификатор тематики текстов. — Приборостроение. Специальный выпуск: Методы анализа и синтеза нейронных сетей. 1995, № 1-2, стр. 43-47.

39. Тимофеев A.B., Шеожев A.M. Порогово-полиномиальные и диофан-товые нейронные сети в задачах медицинской диагностики. Докл. Всеросс. конф. "НИ-99". 4.2. М.:МИФИ, 1999.-с.81-86.

40. Тэнк Д.У., Хопфилд Дж.Дж. Коллективные вычисления в нейропо-добных электронных схемах. В мире науки №2, 1988 г., с 4453.4 8.Уоссермен Ф. Нейрокомпьютерная техника: теория и практика. — М.: Мир, 1992.

41. Флейшман B.C. Основы системологии. М.: Радио и связь, 1982.368 с.

42. Хромов А.Г. О топологической структуре множества нестационарных состояний нейронной сети. Докл. ВК "НИ-99". Ч.1.-М.:МИФИ, 1999.-с.138-143.

43. Цыбизов A.B. Метод нейропредставления лексической информации. Научная сессия МИФИ 2000. 2-я Всероссийская научно-техническая конференция мНейроинформатика-2000". Сборник научных трудов. В 2-х частях. Ч. 2. — М.: МИФИ, 2 0 00, стр. 125-134.

44. Широков Ф.В. На пути к нейрокомпьютерам. Итоги науки и техники. Серия: "Физические и математические модели нейронных сетей". Т.1. М.: ВИНИТИ, 19 90.

45. Шумский С.А., Яровой A.B., Зорин О.Л. Ассоциативный поиск текстовой информации. Научная сессия МИФИ 99. Всероссийская научно-техническая конференция " Нейроинформатика-99".

46. Сборник научных трудов. В 3-х частях. Ч. 3. — М.: МИФИ, 1999, стр. 101-109.

47. Энгелькинг Р. Общая топология.: Мир, 1986.- 751 с.

48. Яглом A.M., Яглом И.А. Вероятность и информация. — М. : Наука, 1973.5 6.Chua L.O., Yang L. Cellular Neural Networks: Theory. IEEE Transactions on Circuits and Systems. 1988, vol. 35. - No 10. - P. 1257 - 1272.

49. Deerwester S., Dumais S., Furnas G., Landauer Т., Harsman R. Indexing by Latent Semantic Analysis. — Journal of the American Society for Information Science, 41(6): 391-407, 1990.

50. Dowe James. Использование нейронных сетей в системах поиска текста. — EDMS Journal, Issue 1, Volume 2, September, 1991.

51. Fritzke Bernd. A growing neural gas network learns topologies, (To Appear in: G. Tessauro, D.S. Touretsky and Т.К. Leen (eds), Advanced in Neural Information processing Systems 7, MIT Press, Cambridge MA, 1995) .

52. Fritzke Bernd. Growing cell structures — f self organizing network for Supervised and Unsupervised, International Computer Science University, Berkley, California, Technical Report TR-93-026, May 1993.

53. Grossberg S. Classical and Instrunental Learnng by Neural Networks. Progress in Theoretical Biology, vol.3, pp. 51141. NY: Academic Press, 1974.

54. Hebb D.O. The Organization of Behavior. NY, Wiley, 1949.

55. Hecht-Nielsen R. Neurocomputing. — Addison-Wesley, Reading, MA, 1990 p. 443.

56. Hecht-Nielsen R. Theory of the backpropagation neural network. International joint conference on neural networks, Sheraton Washington Hotel, Washington D.C., June 18-22,Vol. 1, p.593-606.

57. Hopfield, J.J. Neurons with graded response have collective computational properties like those of two-state neurons, Proc. Natl. Acad. Sci. USA 81, 1984, pp.3088-3092.

58. Kohonen Т. Self-Organizing Maps. Springer-Verlag, 1995.

59. Masters Timothy. Advanced Algorithms for Neural Networks. John Wiley & Sons, 1995.

60. Minsky M.L., Papert S. Perceptrons. Cambridge, MA: MIT Press, Русск. перевод: Минский М.Л., Пайперт С. Персептроны. М.: Мир, 1971.

61. Neural Networks. Vol. 1-6.

62. Riedmiller M., and Braun, H. (1993), "A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm", Proceedings of the IEEE International Conference on Neural Networks 1993, San Francisco: IEEE.

63. Rosenblatt F. Principles of Neurodinamics. NY: Spartan Books. Русск. перевод: Розенблат Ф. Принципы нейродинамики. \Пер. с англ. М.: Мир, 1965.

64. Rosenblatt F. The perceptron a probabilistic model for information storage and organization in the brain. — Phycol.Rev., vol. 65, 1958.- pp 386-407.

65. Salton G. Automatic Text Processing. — Addison-Wesley Publishing Company, Inc., Reading, MA, 1989.

66. Specht Donald. Probabilistic Neural Networks. Neural Networks, 1990, № 1.

67. Werbos P.J. Backpropagation through time: what it does and how to do it. Proceedings of IEEE, Vol. 78, No. 10, October, 1990, pp.1550-1560.

68. Widrow В. Generalization and information storage in networks of adaline neurons. — in Self-organizing systems, M.C.Yovits et al., Eds., Washington, D.C.: Spartan, 1962.- pp. 453-461.

69. Публикации по теме диссертации8 0.Жигирев Н.Н., Корж В.В. Автоматизированная система классификации текстов. Сборник научных трудов. В 11 частях. Ч. 9. — М.: МИФИ, 1998, стр. 99-103.

70. Отчеты о научно-исследовательских работах

71. Тестирующая выборка текстов1. Произвольный текст

72. Автоматизированная система классификации текстове1. Программа для РС

73. Тип, архитектура и метод обучения НС

74. Принадлежность текста к классам1. Обученные НС-► Решение о дообученииобщий вид)

75. Режим Правила Тип, архитектура иработы обработки метод обучения НСосновные компоненты)1. С11. Правила

76. Обучающая выборка обработкитекстов1. С1

77. Расчет абстрактных кодов текстов

78. Гистограммы распределения текстов по встречаемости бионов в классах1. С1