Разработка и исследование гибридных нейросетевых моделей для автоматической классификации текстовых документов тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Мешкова, Екатерина Владимировна

• Мешкова, Екатерина Владимировна
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Мешкова, Екатерина Владимировна

ВВЕДЕНИЕ

1 АНАЛИТИЧЕСКИЙ ОБЗОР СУЩЕСТВУЮЩИХ ПОДХОДОВ

К АВТОМАТИЧЕСКОЙ КЛАССИФИКАЦИИ ТЕКСТА

1.1 .Постановка задачи автоматической классификации текстов

1.2.Анализ традиционных подходов к решению задачи^ автоматиче- 18 ской классификации текста

1.3.Решение задачи автоматической классификации текста на базе 42 ассоциативных нейронных сетей

1.4.0боснование выбора гибридного1 подхода к автоматической 49 классификации

1.5.Выводы >

2 РАЗРАБОТКА ГИБРИДНОГО-ПОДХОДА К ПОСТРОЕНИЮ^ 53 . НЕЙРОННОЙ СЕТИ.

2.1. Основные направления создания ^гибридных моделей

212. Принципы построения гибридной модели;

2.3. Разработка основных этапов создания гибридной модели<

2.4. Выбор архитектуры гибридной нейронной сети732.5. Выбор типов семантических отношений и связей для гибридной 82 сети

2.6.Вывод ы

3 ПОСТРОЕНИЕ ГИБРИДНОЙ МОДЕЛИ АВТОМАТИЧЕСКОГО 88 КЛАССИФИКАТОРА

3.1. Выбор формы представления текста в гибридной нейронной 88 сети

3.2. Разработка структуры гибридной нейронной сети

3.3. Разработка математической модели гибридной сети

3.41. Разработка обобщенного алгоритма создания гибридной модели. 111 автоматического классификатора

3.5. Реализация ! и 2 этапов создания гибридной модели

3.6. Разработка преобразование гибридной сети в сеть, аналогичную 125 ассоциативной нейронной сети

3.7. Выводы

4 ВЫЧИСЛИТЕЛЬНЫЙ ЭКСПЕРИМЕНТ И АНАЛИЗ РАБОТЫ

РАЗРАБОТАННОГО ГИБРИДНОГО НЕЙРОСЕТЕВОГО КЛАССИФИКАТОРА

4.1. Результаты проведения вычислительного эксперимента на тес- 131 товых примерах

4.2. Выводы

Введение диссертации (часть автореферата) на тему «Разработка и исследование гибридных нейросетевых моделей для автоматической классификации текстовых документов»

В настоящее время большое внимание уделяется повышению уровня интеллектуальности различного рода автоматизированных систем, исследованию и разработке методов и средств представления знаний, получению оптимальных решений на их основе. Это в полной мере относится к задаче автоматической классификации текстов, актуальность которой повышается по мере внедрения и развития информационных технологий.

Исследования и разработки в области автоматической обработки текста в Европе и США привлекают внимание крупнейших фирм и государственных организаций самого высокого уровня, в нашей стране это направления активно развивают различные научные школы. Особенное значение данное направление приобрело в связи с активным распространением^ глобальных, информационных сетей. В-связи с этим пристальное внимание привлекают также работа поисковых систем, систем классификации и реферирования, извлечения знаний, в общем, систем для обработки информации с целью повышения эффективности ее использования.

Развитие не только глобальных компьютерных сетей, но и полнотекстовых баз данных привело к постоянному наращиванию информационных текстовых ресурсов: образовательные центры организуют в Интернете базы научных статей, авторефератов, многие организации предоставляют доступ к ресурсам электронных библиотек, публикуются тысячи полных текстов докладов и т.п. При постоянном и интенсивном возрастании объемов текстовой информации, трудности поиска требуемых сведений среди множества доступных текстов значительно уменьшают ее ценность. Поэтому особенную значимость автоматическая классификация текстовых документов имеет для информационно-поисковых систем глобальных сетей, полнотекстовых баз данных. Исходя из этого, задача автоматической классификации текста, представляя собой частный случай задачи распознавания смысла, является в настоящее время актуальной проблемой, затрагивающей различные сферы человеческой деятельности, т.к. ее решение позволит полностью автоматизировать процесс обработки, классификации и поиска информации.

В настоящее время в мире существуют и активно развиваются системы автоматической классификации текста, специализированные системы полнотекстового анализа (например, в России это "Следопыт", "ТекстАналист") позволяющие проводить автоматическую классификацию и реферирование текстов.

Существует множество подходов к решению задачи автоматической обработки, распознания и классификации текстовой информации, однако внимание, уделяемое данной проблеме, однозначно свидетельствует, что ни-один из них не является исчерпывающим. Наиболее часто используемыми методами в таких направлениях, как распознавание и классификация (либо генерация) речи являются статистические методы. К ним относятся: статистические классификаторы на основе вероятностных методов, методы многомерного статистического анализа, в частности, факторного анализа, кластерного анализа, таксономии, распознавания образов без учителя, частотный анализ текста, математический анализ текста на основе законов Зипфа (Zipf) [1-5].

В некоторых областях, например, лексико-грамматическом анализе предложения, синтаксический анализ предложения, автоматическое реферирование, в большей степени применяются лингвистические методы.

Зачастую в системах автоматического реферирования применяются как лингвистические, так и статистические методы.

Лингвистические методы в современных приложениях автоматической классификации и распознания (анализа) часто используются совместно с методами искусственного интеллекта, особенно с семантическими сетями. Семантические сети строятся на основе выделенных лексических или синтаксических отношений.

Из методов искусственного интеллекта для решения данной проблемы применялись нейронные сети, семантические сети, экспертные системы.

Нейронные сети используются для решения таких задач, как распознавание, классификация, кластеризация. Семантические сети в эффективны не только с точки зрения классификации и реферирования, но и выделения смысла текста и зачастую опираются на лингвистический аппарат.

Так как автоматическая классификация является подзадачей распознавания смысла, для которой используются модели представления знаний, логичным будет совместить нейронные сети, осуществляющие классификацию (кластеризацию) по признакам, и семантические сети с заранее установленными связями между объектами, имеющими имя и значение.

Под ассоциативной нейронной сетью в данной работе понимается некая упрощенная математическая модель биологической нейронной сети [6]. Математическая модель нейронной сети является системой матричных преобразований, реализованной посредством цифровых вычислительных машин.

Семантическая сеть представляет собой иерархическую сеть, в вершинах которой находятся информационные единицы. Дуги семантической сети соответствуют различным связям между информационными единицами. При этом иерархические связи определяются отношениями структуризации, и могут описываться языком математики, например, логикой предикатов.

Классификация — указание некоторого класса или принадлежности к нему рассматриваемых объектов, в основе которой, как правило, лежит выбор в процессе предварительной обработки данных признаков, по которым осуществляется отнесение к какому-либо классу.

Можно условно представить вышесказанное в виде иерархии с точки зрения представлений следующего вида:

- нейронная сеть — уровень описания общей структуры системы, состоящей из объектов;

- семантическая сеть — уровень взаимодействия, отношений между объектами;

- классификация — уровень математических операций над объектами, между которыми уже установлены связи.

Фактически, автоматическая классификация представляет собой математические операции над объектами, представленными математически.

Исходя из вышесказанного, несмотря на принципиальные различия, нейронную и семантическую сети можно представить математическими преобразованиями, что позволяет найти некий универсальный математический аппарат для создания эффективного гибрида. Представляется интересным совместить в единой гибридной модели свойства различных подходов.

В настоящее время в связи с появлением новых возможностей, а также отсутствием новой принципиальной идеи, разработка гибридных моделей, совмещающих принципиально различные подходы, стала одним из наиболее актуальных направлений. В основном разрабатываемые гибридные модели носят прикладной характер, и направлены на наиболее эффективное решение какой-либо конкретной задачи в различных сферах деятельности. Интенсивно развиваются в настоящее время гибридные модели представления знаний в интеллектуальных системах [7-12].

Сфера применения разработанной модели достаточно обширна. Это информационно-поисковые системы, системы автоматической классификации, библиотечно-справочные системы, в роботах-поисковиках, системах обработки текстовой информации, Text Mining.

Гибкость разработанной модели позволяет как классифицировать текстовые документы по заранее заданному классификатору, так и выделять классы, основанные на подобии документов.

В данной работе осуществляется попытка отойти от традиционного направления классификации на нейронных сетях, как работы с признаками, и обратить большее внимание на смысловые единицы (слова), содержащиеся в тексте, и связи между ними, что традиционно является прерогативой семантических сетей. Проанализировав качества нейронных и семантических сетей, предложена модель, позволяющая частично компенсировать недостатки и сложности при построении обоих сетей, за счет поэтапного изменения конфигурации гибридной сети.

В работе предложена модель, использующая в своей основе семантические, смысловые связи, отраженные на ассоциативной нейронной сети. Таким образом, возникает возможность использовать преимущества ассоциативной нейронной сети, позволяющие выделять собственные закономерности, и обучаться, и возможности семантических связей при создании «семантического образа» области знания, раздела классификации или поискового запроса.

Разработанный подход дает значительное преимущество по сравнению со статистическими методами, и классификацией с помощью ключевых слов и содержащихся в тексте терминов. Это возможно, прежде всего потому, что в разработанной модели учитывается не только термины, собственно присутствующие в^ тексте, но и их семантическая связь с другими словами и понятиями; объединенными в семантические образы различных классово областей знаний. Таким образом, одни и те же термины могут входить в различные семантические образы, областей знаний, разделов, что дает более точную классификацию документа. Начальные семантические связи формируются с использованием принадлежности терминов к областям знаний. Особенностью разработанной модели является также то, что последующие семантиче-' ские образы создаются на базе ассоциаций и закономерностей, полученных ассоциативной нейронной сетью.

При классификации документа рассматривается не только входящая в него терминология, но и ее окружение, контекст. Учитывать связи между словами в документе можно с помощью ассоциативной нейронной сети, устанавливая ассоциативную связь между словами. Это позволяет, например, уточнять поиск «документа по подобию». Такая возможность позволяет обучать построенную гибридную сеть.

Таким образом, в предложенной модели делается попытка объединить семантические и ассоциативные связи на базе ассоциативной- нейронной сети.

Особенностью предложенной в работе модели является то, что в ней используется; заранее, установленные семантические отношения, семантические образы областей знаний и разделов, но при этом сохраняется возможность обучения сети, введения новых ассоциативных связей, выделения неявных закономерностей, что является чертой ассоциативных нейронных сетей. Составление семантического образа предметной области эффективно используется в классификации, однако в нем отсутствует возможность обучения, введения новых отношений, гибкость, которые являются отличительными чертами разработанной модели. Исходя из этого, использование предложенной в работе гибридной модели полезно и перспективно.'

Хотя существует множество различных алгоритмов для автоматической классификации, они не дают исчерпывающее решение. Ценность^ модели состоит также, помимо вышесказанного, в попытке решить задачи автоматической? классификации без выделения признаков и не подвергая: текст сложному лексико-грамматическому анализу.: Положительной чертой предложенного подхода является! то, что- он позволяет существенно упростить трудоемкий процесс обучения нейронной сети.

Таким образом, задача автоматической классификации текста, представляя собой частный случай задачи распознавания смысла, является в настоящее время актуальной проблемой, затрагивающей различные сферы; человеческой деятельности, т.к. ее решение позволит полностью автоматизировать процесс обработки, классификации и поиска информации.

Целью диссертационной работы является разработка и исследование новых методик, моделей и алгоритмов построения гибридных моделей нейронных и семантических сетей для применения их при автоматической классификации текста.

Для достижения поставленной цели необходимо решить следующие задачи:

1) Разработка гибридной модели на основе нейронной и семантической сетей;

2) Разработка методики представления семантических связей между объектами на базе нейронной сети;

3) Разработка обобщенного алгоритма создания гибридной модели;

4) Разработка структуры и параметров гибридной модели сети для автоматической классификации текста;

5) Выбор и обоснование основных характеристик гибридной сети (структуры нейронов, сумматора, активационной и пороговой функций, установление синаптических весов, оптимального количества тактов передачи сигнала);

6) Разработка методики преобразования гибридной сети в ассоциативную нейронную сеть;

7) Исследование* полученной сетевой модели, с точки зрения ее соответствия выполнению задачи.автоматической классификации текста.

Для решения поставленных задач* использовались, следующие* методьк исследований: элементы теории алгоритмов, методы теории искусственного интеллекта, методы теории, нейронных сетей, элементы статистического анализа.

Научная новизна диссертационной работы заключается в следующем:

1. Разработке гибридной модели на основе нейронной и семантической сетей, предназначенной для автоматической классификации текста;

2. Разработке новой методики представления семантических связей между объектами на базе нейронной сети;

3. Разработке обобщенного алгоритма создания гибридной модели;

4. Разработке структуры и параметров гибридной модели сети для автоматической классификации текста;

5. Разработке методики преобразования гибридной сети в ассоциативную нейронную сеть, особенностью которой является то, что последующие семантические образы создаются на базе ассоциаций и закономерностей, полученных ассоциативной нейронной сетью. Практические ценности работы представляют:

1. Пакет программ для выполнения автоматической классификации, разработанный на основе представленного в работе алгоритма создания гибридной модели сети, позволяющий проводить автоматическую классификацию текстовых документов;

2. Пакет программ, реализующих преобразование гибридной сети в ассоциативную нейронную сеть на основе разработанного алгоритма конвертации.

Реализация результатов работы. Основные теоретические и практические результаты диссертационной работы использованы в госбюджетной НИР «Применение интеллектуальных методов при разработке информационных систем в науке, технике и образовании» (Г-6.06.ВИС). Результаты работы были внедрены в научно-исследовательском институте перспективных технологий (НИИ ПТ) Волгодонского института сервиса Южно-Российского государственного университета экономики и сервиса (ВИС ЮРГУЭС), ООО НПФ «Южно-Российский информационной центр».

Материалы диссертации были использованы в учебном процессе на кафедре «Информатика» Волгодонского института сервиса (ВИС) (филиала ЮРГУЭС), при чтении лекций, проведении практических и лабораторных занятий по учебным дисциплинам: «Интеллектуальные информационные системы» и «Представление знаний», а также на кафедре «Прикладная информатика» Технологического института Южного Федерального университета в г. Таганроге, при выполнении курсовых и дипломных работах, чтении лекций, проведении практических и лабораторных занятий по учебным дисциплинам «Интеллектуальные интернет-технологии», «Методы интеллектуального анализа данных», а также в научно-исследовательской работе студентов.

Основные теоретические и практические результаты диссертационной работы использованы в научно-исследовательской работе, выполненной по гранту при финансовой поддержке Президента Российской Федерации (проект №МК-119.2003.01).

Апробация основных теоретических и практических результатов работы проводилась на IV Международной научно-практической конференции «Моделирование. Теория, методы и средства» (Новочеркасск, 2004г.), Международной научной конференции «Анализ и синтез как методы научного познания» (Таганрог, 2004г.), внутривузовской конференции ЮРГУЭС (2004 г.).

Публикации. Результаты диссертации отражены в 8 печатных работах.

Структура и объем диссертационной работы.

Диссертационная работа состоит из введения, 4 разделов, заключения, списка литературы из 155 наименований, стр. приложений и актов об использовании.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Мешкова, Екатерина Владимировна

4.2. Выводы

1. После ряда проведенных вычислительных экспериментов и анализа полученных данных сделан вывод о работоспособности разрабатываемого гибридного нейросетевого классификатора.

2. Разработанный классификатор способен отсеивать «чужие» документы, и распознавать с высокой точностью документы, принадлежащие к его областям знаний.

3. При использовании гибридный нейросетевого классификатора существенно возрастает точность классификации по сравнению с аналогичными используемыми программами-классификаторами.

ЗАКЛЮЧЕНИЕ

В ходе выполнения диссертационной работы получены результаты:

1. В ходе анализа существующих подходов к решению задачи автоматической классификации обоснована актуальность гибридного подхода; совмещающего ассоциативные нейронные и семантические сети, с помощью которого можно компенсировать недостатки каждого из механизмов. Выбран общий подход и основные принципы создания гибридной модели, выделены требуемые ее свойства.

2. Разработана и реализована методика создания гибридной нейросетевой' модели, позволяющая классифицировать текст на основе заложенной-в текст терминологии и выделения неявных ассоциаций. Представлена разработка гибридной модели, автоматическою классификации текстов. Выбраны формы представления и обработки текста для разработанной' модели.

3. Разработана структура гибридной нейронной сети; выбраны ее параметры. Разработаны ее составляющие, и механизм действия разработанной модели. Описан способ представления данных для нейронной' сети, отбора терминов и установления семантических связей, принципы формирования обучающей выборки.

4. Предложена модель нейронной сети, состоящая из трех слоев, которые выстроены иерархически, разработана ее математическая модель.

5. Разработан обобщенный алгоритм создания гибридной нейросетевой модели, реализующий поэтапный процесс создания гибридной сети. Также разработан набор алгоритмов, включающий в себя алгоритм установления семантических отношений и библиотек; алгоритм работы гибридной сети с установленными семантическими отношениями; алгоритм преобразования гибридной сети в гибридную ассоциативную нейронную сеть.

6. Разработана и реализована гибридная нейросетевая модель на основе созданных алгоритмов.

7. Разработана и реализована методика преобразования созданной гибридной модели в ассоциативную нейронную сеть с сохранением установленных семантических связей, позволяющая выделять неявные ассоциации и скрытые закономерности в тексте.

3. Разработан пакет программ для выполнения автоматической классификации, разработанный на основе представленного в работе алгоритма создания гибридной модели сети, позволяющий проводить автоматическую классификацию текстовых документов; и пакет программ, реализующих преобразование гибридной сети в ассоциативную нейронную сеть на основе разработанного алгоритма конвертации. ■

8. В результате вычислительного эксперимента позволило сделать вывод, что построенный на основе разработанной в работе модели гибридный классификатор способен отсеивать «чужие» документы, и распознавать с высокой точностью документы, принадлежащие к его областям знаний. При использовании гибридный нейросетевого классификатора существенно возрастает точность классификации по сравнению с аналогичными используемыми программами-классификаторами

Список литературы диссертационного исследования кандидат технических наук Мешкова, Екатерина Владимировна, 2009 год

1. Прикладная статистика: Классификация и снижение размерности: Справ, изд. / С. А. Айвазян, В. М. Бухштабер, И. С. Енюков, JI. Д. Ме-шалкин; Под. ред. С. А. Айвазяна. М.: Финансы и статистика, 1989. -607с.: ил.

2. Сигорский В.П. Математический аппарат инженера. — Киев: Техника, 1977.-768с.

3. Чубукова И.A. Data Mining. БИНОМ: Лаборатория знаний, Интернет-университет информационных технологий http://www.intuit.rui, 2008.

4. Sebastiani F. Machine Learning in Automated Text Categorization // ACM Computing Surveys. — 2002. -Vol: 34; No! 1.

5. Zipf G.K. Human Behavior and the Principle of the Last Effort. Cambridge, Mass., 1949.

6. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика: М., Мир, 1992.

7. Ерофеев А.А., Поляков А.О. Интеллектуальные системы управления: СПб.: Изд. СПбГТУ, 1999.

8. Колесников А.В. Гибридные интеллектуальные системы для поддержки принятия решений. Труды Междун. конф. "Интеллектуальное управление: новые интеллектуальные технологии в задачах управления (ICIT'99). М.: Наука. Физматлит, 1999.

9. Goonatilake S., Khebbal S.(eds.). Intelligent Hybrid Systems Wiley & Sons, 1995.

10. Medsker L.R. Hybrid Intelligent Systems. Kluwer Academic Publ., 1995.

11. Бутаков C.B. Рубцов Д.В. Разработка оболочки гибридной интеллектуальной системы. Алтайский государственный университет, Барнаул, 2006.

12. Классификация и кластер. — G6. ст./ Под ред. Дж. В. Райзина./М.: Мир, 1980.

13. Zadeh L.A. 'Fuzzy sets' // Information and control, 1965. V.8. P.338-353.

14. Friedman N., Geiger D., Goldszmidt M., etc. Bayesian Network Classifiers Machine Learning. 1997. 29. P: 131-165.

15. Андреев A.M., Березкин Д.В., Морозов B.B., Симаков K.B. Автоматическая классификация текстовых документов с использованием нейросете-вых алгоритмов и семантического анализа // Мир ПК, 2007, №9 стр. 56-64.

16. Коршунов, Ю. М. Математические основы кибернетики. М.: Энерго-атомиздат, 1987.

17. Чубукова JI.A. Лекции: Методы классификации и прогнозирования. Метод опорных векторов. Метод "ближайшего соседа'1. Байесовская! классификация. М.: Изд-во МГТУ имени Н.Э.Баумана, 2008.

18. D.M.Magerman. Natural Language Parsing as Statistical Pattern Recognition. // A dissertation submitted to the department of computer science at the committee on graduate studies of Stanford University, 1994.

19. Brand E., Gerritsen R. Naive-Bayes and Nearest Neighbor. DBMS, 1998. №7.

20. Мерков А.Б. О статистическом обучении. //«Информационные технологии», № 7, 2005.

21. Yang Y., Liu X. A re-examination of text categorization methods. // Proc. Of Int. ACM Conference on Research and Development in Information Retrieval (SIGIR-99), 1999 pp. 42-49.

22. Колбецкая M.O., Пономарева Ю.П. Кластерный анализ как метод автоматической классификации текстовой информации. // Итоги науки и техники (серия "Вычислительные науки"). Т.6. —М.: ВИНИТИ, 1991.

23. Классификация и кластер: Сб. ст./ Под ред. Дж. В. Райзина./М.: Мир, 1980.

24. Дж Солтон. Динамические библиотечно-поисковые системы. М.: Мир, 1979.

25. Распознавание образов: состояние и перспективы: Пер. с англ./К.Верхаген, Р.Дёйн; Ф.Грун и др. —М.: Радио и связь, 1985. -104 е., ил

26. Хмелев Д.В. Классификация и разметка текстов с использованием методов сжатия»данных. Краткое введение — http:// www.compression.ru, 2003.

27. С. Burges, "A Tutorialon Support Vector Machines for Pattern Recognition," Knowledge Discovery and Data Mining, 2(2), 1998.

28. Greene, W. «Econometric Analysis», Prentice Hall, 1997.

29. Удо X., Мани И. Системы автоматического реферирования // «Открытые Системы», №12,2006.

30. Технологии анализа- и поиска текстовой информации // Научно-техническая информация. Сер. 4. — 2005. — № 12. — С. 32-34.

31. Дунаев Е.В. Шелестов А.А. Автоматическая рубрикация web-страниц в интернет-каталоге с иерархической структурой. Томский государственный университет систем управления и радиоэлектроники, 2008.

32. Пескова О. В. Методы автоматической классификации текстовых электронных документов // Научно-техническая информация. Сер. 2. 2006. — № 3. — С. 13-20.

33. Пескова О. В. Методы автоматической классификации электронных текстовых документов без обучения// Научно-техническая информация. Сер. 2. 2006. - № 12. - С. 21-32.

34. Дюк В.А., Самойленко А.П. Data Mining: учебный курс. СПб.: Питер, 2001.

35. Кулинцов Р., Первак A. RCO и UCO Semantic Network. Информация о технологии: Ассоциативно-статистический подход. — http://www.rco.ru, 2004.

36. Леонтьева Н.Н. К теории автоматического понимания естественных текстов. 4.2: Семантические словари: состав, структура, методика создания- М.: Изд-во МГУ, 2001.

37. Леонтьева Н.Н. К теории автоматического понимания естественных текстов. Ч.З: Семантический компонент. Локальный семантический анализ.- М.: Изд-во МГУ, 2002.

38. Тейз А., Грибомон П., Юлен Г. и др. Логический подхода искусственному интеллекту. От модальной логики к логике баз данных: Пер.с франц. — М.: Мир, 1998.

39. Кулинцов Р., Первак A. RCO и UCO Semantic Network. Информация о технологии: Синтактико-семантический подход. http://www.rco.ru, 2004.

40. Linda Van Guilder Automated Part of Speech Tagging: A Brief Overview (Handout for LING361, Fall 1995 Georgetown University) — Georgetown University, 1995.

41. Ермаков А.Е., Рябов Г.Н. Нейросетевая модель организации знаний в системах речевого общения аналог многомодального представленияинформации в человеческом мозге. // Интеллектуальные системы: Труды третьего международного симпозиума. М.: ООО "ТВК", 1998.

42. Гареев А.Ф. Применение вероятностной' нейронной' сети для задачи, классификации текстов. //«Информационные технологии», № 7, 1997.

43. Андреев A.M., Березкин Д.В., Брик А.В., Смирнов Ю:М. Об одном способе построения синтаксического анализатора текстов! на естественном, языке // Изв. вузов. Приборостроение, 1997. Т. 40, № 5 — стр. 34-—42.

44. Андреев* A.M., Березкин Д.В., Брик А.В., Лингвистический процессор для информационно-поисковой системы // Компьютерная хроника , 1998. № 11 стр. 79- 100.

45. Андреев A.M., Березкин Д.В., Симаков К. В. Особенности проектирования модели и онтологии предметной области для поиска противоречий в правовых электронных библиотеках. 6-ая Всероссийская научная конференция RCDL'2006.

46. Браславский П.И. Автоматическая классификация документов Internet по стилям: реализация макета. Доклады V рабочего совещания по электронным публикациям EL-PUB-2000, Новосибирск, Академгородок, ИВТ СО РАН, 21-23 июня 2000 г.

47. Дударь З.В., Шуклин Д.Е. Семантическая нейронная сеть, как формальный язык описания и обработки смысла текстов на естественном языке //

48. Радиоэлектроника и информатика. X.: Изд-во ХТУРЭ, 2000. No 3. С. 72-76.

49. Зайцев Н.Г. Технология обработки данных в языковой форме. -Киев.: Техника, 1989.

50. Искусственный интеллект. В 3-х кн. Кн.2.Модели и методы: Справочник. /Под ред. Д.А. Поспелова. -М.: Наука, 1990:

51. Джордж Ф. Основы кибернетики: Пер: с англ./Под ред. A.JI. Горелика. — М.: Радио и связь, 1984. -272 е., ил.

52. Куссуль Э.М. Ассоциативные нейроподобные структуры. Академия наук Украинской ССР Институт кибернетики имени В.М.Глушкова, Киев, Наукова думка, 1990.

53. Терехов С.А. Лекции по теории и приложениям искусственных нейронных сетей. Лаборатотория Искусственных Нейронных Сетей НТО-2, ВНИИТФ; Снежинск, 2004.

54. Grossberg S. 1973. Contour enhancement, short-term memory, and consistencies in reverberating neural networks. Studies in Applied5 Mathematics 52:217,257.

55. Kohonen T. Self-organization and associative memory. Series in Information Sciences, vol. 8. Berlin: Springer Verlag, 1984.

56. Hebb D. 0. 1961. Organization of behavior. New York: Science Edition.

57. Rosenblatt F. 1962. Principles of neurodynamics. New York: Spartan Books. (Русский перевод: Розенблатт Ф. Принципы нейродинамики. -М.: Мир., 1965.)

58. Widrow В., Angell J. В. 1962. Reliable, trainable networks for computing and control. Aerospace Engineering 21:78-123.

59. Widrow В., Hoff M. 1960. Adaptive switching circuits. I960 IRE WESCON Convention Record, pp. 96-104. New York: Institute of Radio Engineers.

60. Werbos P. J. 1974. Beyond'regression: New tools for prediction and analysis in the behavioral sciences. Masters thesis, Harward University.

61. Horfield J. J. 1982. Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Science 79:2554-58.

62. Parker D. B. 1987. Second order back propagation: Implementing an optimal-0(n) approximation to Newton's method as an artificial newral network. Manuscript submitted for publication.

63. Н;М: Амосов, A.M. Касаткин, JLM: Касаткина;,С.А. Талаев Автоматы и, разумное поведение. Опыт моделирования. Киев: "Наукова думка", 1973.-261с.

64. Егоров С.А. Сети нейронные или семантические? // Информационные технологии. 1999 8. С. 31- 34.

65. Гаврилов А.В. Проблемы обработки символьной информации в нейронных сетях// Радиоэлектроника и информатика. X.: Изд-во ХТУРЭ, 2008. -№3. С. 72-76.

66. Куссуль Э.М. Ассоциативные нейроподобные структуры. Академия наук Украинской ССР. Институт кибернетики имени В.М.Глушкова, Киев, Наукова думка, 1990.

67. Kolesnikov A. Computer Aided Design of Hybrid Models for Automation Ship Systems Konferencja Naukowo -Techniczna AUTOMATION 99. Warszawa, 1999.

68. Киселев M., Соломатин E. Средства добычи знаний в финансах и бизнесе // Открытые системы. — 1997 г., №4.

69. Масалович А. Нейронная сеть в арсенале банкира. Пакет Brain Maker на российском рынке.// Открытые системы. — 1998 г., №11.17/3.

70. Пятковский О.И., Рубцов Д.В., Бутаков С.В. Система анализа финансово хозяйственных показателей деятельности предприятия // Информационные технологии. - 1999 8. С. 31- 34.

71. Степанов B.C. Фондовый рынок и нейросети // Мир ПК — 1998, № 12, с.40-46.

72. Гибридная модель представления знаний, использующая сеть параметров. Методический комплекс по дисциплине "Проблемы современной науки"—М.: Горячая линия-Телеком,.2005. -78 с.:ил.

73. Honavar V., L. Uhr. Integrating Symbol Processing and Connectionist Networks. Invited chapter. In: Intelligent Hybrid Systems. 1995, pp. 177-208. Goonatilake, S. and Khebbal, S. (Ed.) London: Wiley.

74. MacGarry K., Wermter S., Maclntyre J. Hybrid neural system: from simply coupling to fully integrated neural network// Neural computing surveys, 2, 1999, pp. 62-93.

75. Mustajoki J., Hamalainen R.P. Web-HIPRE: Global decision support by value tree and AHP analysis, INFOR, Vol. 38, no. 3, Aug. 2000, pp. 208-220.

76. Уотерман Д. Руководство по экспертным системам. М.: Мир, 1989.

77. Попов Э.В. Экспертные системы. Решение информационных задач в диалоге с ЭВМ-М.: Наука, 1987.

78. Построение экспертных систем. Под ред. Ф. Хейес-Рота, Д. Уотермена, Д. Лената. М.: Мир, 1987.

79. Рубашкин В.Ш. Представление и анализ смысла в интеллектуальных информационных системах. -М.: Наука, 1989.

80. Нечеткие и гибридные системы -сб. ст/под.ред.Ирушиной,М.: 2008.

81. Honavar, V. & Uhr, L. (1994а). (Ed.) Artificial Intelligence and Neural Networks: Steps Toward Principled Integration. San Diego, CA.: Academic Press.

82. Соломатин H.M. Информационные семантические системы. // В уч. пос. Перспективы развития вычислительной техники в 11 кн. Кн. 1. — М.: Высшая школа, 1989.

83. Искусственный интеллект. Справочник, т.1, т 2, т.З — М. РиС, 1990.

84. Поспелов Д.А. Моделирование рассуждений Опыт анализа мыслительных актов -М. РиС, 1989.

85. Эндрю А. Искусственный интеллект. М.: Мир, 1985. - 178 с.

86. Представление и использование знаний. М: Мир, 1989.

87. Люггер Д.Ф. Искусственный интеллект: стратегии и методы решения сложных проблем. 4- е издание.: Пер. с англ. — М.: Наука, 1980.

88. Мелихов А.Н., Бернштейн Л.С., Коровин С.Я. Ситуационные советующие системы с нечеткой логикой. М.: Наука, 1990.

89. Обработка нечеткой информации в системах принятия решений./ А.Н.Борисов, А.В.Алексеев, и др. — М.: Радио и связь, 1989. 304с.

90. Искусственный интеллект; В 3 кн. Кн.2 Модели и методы; Справочник /Под ред. Д.А. Поспелова. М.: Радио и связь, 1990. - 304 с.

91. Моделирование языковой деятельности в интеллектуальных системах./ Под ред. А.Е.Кибрика и А.С.Нариньяни. М.: Наука, 1987.

92. Попов Э.В: Общение с ЭВМ на естественном языке. М:, Наука, 1986.

93. Шенк Р. Обработка концептуальной информации. М.: Энергия, 1980.

94. Минский М. Фреймы для представления знаний. М.: Энергия, 1979.

95. Дударь З.В., Шуклин Д.Е. Семантическая нейронная сеть, как формальный» язык описания и обработки смысла текстов на естественном языке.// Радиоэлектроника и информатика. X.: Изд-во ХТУРЭ, 2000. — № 3.

96. Мешкова Е.В., Светличный Р.А. Применение нейронных сетей для поиска информации. Материалы Международной научно- практической конференции "Информационные технологии в науке и образовании", 915 сентября, 2001г., Шахты, Россия.

97. Мешкова Е.В. Методика построения классификатора текста на основе гибридной нейросетевой модели. Известия ЮФУ. Технические наука.к

98. Тематический выпуск «Интеллектуальные САПР». -Таганрог: Изд-во ТТИЮФУ, 2008, №4(81). -268 с.

99. Кузнецов О.П., Адельсон-Вельский^ Г.М. Дискретная'математика для инженера М.: Энергоатомиздат, 1988. - 480 с.1

100. Клыков Ю.И. Ситуационное управление большими системами. — М.: Энергия, 1974. 213 с. '

101. Шабанов-Кушнаренко Ю.П. Теория интеллекта. Математические средства. X.: Вища школа, 1984. - 143 с.

102. Fernando S. OsoHrio, Bernard Amy. INSS: A hybrid system for constructive machine learning / Neurocomputing 28 (1999). P. 191-205.

103. Чугреев B.JL, Яковлев С.А., Выделение критериев поиска текста на основе подобия значимых документов: // ВУЗОВСКАЯ. НАУКА- РЕГИОНУ: Материалы 1-й Общероссийской нучн.-техн. конф. - Вологда: ВоГТУ, 2003. - стр. 200-202.

104. Чугреев В.Л., Яковлев С.А., Анализ структуры текста и прогнозирование нечисловых величин. // ВУЗОВСКАЯ НАУКА РЕГИОНУ: Материалы 1-й Общероссийской нучн.-техн. конф. - Вологда: ВоГТУ, 2003. — стр. 202-204.

105. Смирнов Ю.М., Андреев A.M., Березкин Д.В., Брик А.В. Вероятностный синтаксический анализатор текстов на естественном языке // Изв. вузов. Приборостроение, 1997. Т. 40, № 5 стр. 34-42.

106. Галеев Э.М., Тихомиров В.М. Оптимизация: теория, примеры, задачи. — М: Элиториал УРСС, 2000: 320 с.

107. Васильев Ф.П. Численные методы решения экстремальных задач. М.: Наука, 1981.

108. Курейчик В.М. Генетические алгоритмы: Состояние. Проблемы. Перспективы. Теория и системы управления РАН, — Москва, N 1, 1999,. с. 144-160.

109. Hecht-Nielsen R. Kolmogorov's Mapping Neural Network Existence Theorem // IEEE First Annual Int. Conf. on Neural-Networks, San Diego, 1987, Vol.3, pp. 11-13.

110. Pineda F. J. 1988. Generalization of backpropagation to recurrent and higher order networks. In Newral information processing systems, ed. Dana Z. Anderson, pp. 602-11. New York: American Institute of Phisycs.

111. Rumelhart D. E., Hinton G. E., Williams R. J. 1986. Learning internal repren-tations by error propagation. In Parallel distributed processing, vol. 1, pp. 318-62. Cambridge, MA: MIT Press.

112. Sejnowski T. J., Rosenberg C. R. 1987. Parallel networks that learn to pronounce English text. Complex Systems 1:145-68.1143. Киселев M. В. Оптимизация- процедуры автоматического пополнениявеб-каталога. http://www.megaputer.com, - 2008.ч

113. Ермаков A.E., Плешко В.В. Синтаксический разбор в системах статистического анализа текста. // Информационные технологии. — 2002. N7.

114. Cover, Т. and Thomas, J. «Elements of Information Theory», Wiley, 1991

115. Труды РОМИП'2004, Санкт-Петербург: НИИ Химии СПбГУ, 214 с, сентябрь 2004 / Под ред. И.С.Некрестьянова.

116. Титов Ю. В., Фарсобина В. В. Сравнительное тестирование авторубрикаторов// Дистанционное образование. 2008. №7. С. 16-21.

117. Naive Bayes algorithm for learning to classify text. // http://www-2.cs.cmu.edu/afs/cs/project/theo-l 1/www/naive-bayes.html

118. Thorsten J. «SVM-light Support Vector Machine» //http://www.cs.cornell.edu/People/tj/svmlight/

119. Lewis D. Applying-Support Vector Machines to the TREC-2001 Batch Filtering and Routing Tasks. Proceedings of TREC-2001' conference.

120. Yang Y., Liu X. A re-examination of text categorization methods. // Proc. Of Int. ACM Conference on Research and Development in Information Retrieval (SIGIR-99), 1999 — pp. 42-49.

121. Yang Y., X. Liu. page classification through summarization. // Proceedings of the 27th annual international ACM SIGIR conference on Research and development in information retrieval, Sheffield, UK, 2004.

122. Хорошевский В.Ф. Оценка систем извлечения информации из текстов на естественном языке.// Материалы Международной научной конференции КИИ — 2006, Обнинск.