Методы и алгоритмы структурно-параметрического синтеза нейросетевой модели для формирования интеллектуальных информационных технологий тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Воеводин, Юрий Юрьевич

• Воеводин, Юрий Юрьевич
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Воеводин, Юрий Юрьевич

СОДЕРЖАНИЕ.

ВВЕДЕНИЕ.

1. АНАЛИЗ СОСТОЯНИЯ ТЕОРИИИ ПРАКТИКИ СОЗДАНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ.

1.1. Проблемы создания новых информационных технологий для решения сложных задач науки и техники.

1.2. Эволюционное моделирование.

1.3. Создание гибридных моделей на основе различных методик и информационных технологий.

1.4. Обзор программных средств, использующих нейронные сети.

Выводы по главе 1.

2. СТРУКТУРНО-ПАРАМЕТРИЧЕСКИЙ СИНТЕЗ НЕЙРОСЕТЕВЫХ МОДЕЛЕЙ.

2.1. Синтез нейронной сети для решения прикладной задачи.

2.2. Кодирование и предварительная обработка входных данных.

2.3. Выбор типа НС.

2.4. Проблемы формирования топологии НС.

2.5. Влияние алгоритма обучения на эффективность использования НС.

2.6. Сравнительный анализ квазиньютоновских методов обучения НС.

2.7. Алгоритм обучения нейронной сети на основе. генетического алгоритма и его оценка.

2.8. Разработка и оценка качества многопопуляционного ГА.

2.9. Экспериментальное исследование генетического алгоритма.'.

2.10. Исследование комбинированных алгоритмов. обучения на основе ГА.

2.11. Задача интерпретации результатов работы нейронной. сети в ИИТ и ее решение.

Выводы по главе 2.

3. РАЗРАБОТКА МЕТОДОВ И АЛГОРИТМОВ ПОВЫШЕНИЯ ЭФФЕКТИВНОСТИ ИСПОЛЬЗОВАНИЯ НС МОДЕЛЕЙ В ИИТ.

3:1. Разработка метагенетического алгоритма.

3.2. Разработка и исследование комбинированного алгоритмаюбучения НС на основе

ГА и имитации отжига.1.:.

З'.З. Использование нечеткой логики для регулирования'. скорости обучения. НС.:.

Выводы по главе 3.

4. ИССЛЕДОВАНИЕ РАЗРАБОТАННЫХ АЛГОРИТМОВ И ОЦЕНКА ИХ ЭФФЕКТИВНОСТИ ПРИ РЕШЕНИИ ПРАКТИЧЕСКИХ ЗАДАЧ.

4.1. Цели и методы проводимых исследований.

4.2. Исследование эффективности разработанной системы при решении задач пользователей сети Интернет.

4.3. Пример применения НС к выбору параметров ЛВС

4.4. Повышение эффективности функционирования. распределенной вычислительной системы.

4.5. Внедрение в учебный процесс.

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы структурно-параметрического синтеза нейросетевой модели для формирования интеллектуальных информационных технологий»

Интеллектуальные информационные технологии в настоящее время являются одним из ключевых направлений развития информатики. Исследования по форме и методам создания интеллектуальных информационных технологий (ИИТ) для решения различных научных и практических задач активно проводятся как России, так и за рубежом.

Особенно важным в этих исследованиях представляется изучение и использование на практике новых подходов к реализации ИИТ, поскольку в большинстве случаев традиционные методы требует больших временных затрат и материальных вложений. В1 последнее время для решения сложных задач управления, информационного мониторинга, диагностики, автоматизированного проектирования, распознавания образов, классификации и т.д используют технологии нейронных сетей (НС), эволюционного моделирования и генетических алгоритмов, нечеткой логики, а также различные гибридные технологии- или технологии^ мягких вычислений - Soft computing (нейро-нечетких, нейро-генетических и т.п.).

Сфера практического применения перечисленных технологий ^постоянно расширяется. Однако, несмотря на активные исследования в этой области, все еще остаются не полностью решенными многие проблемы, связанные с разработкой методов и алгоритмов синтеза нейронной сети и интерпретации результатов ее работы для« конкретных приложений^ недостаточно5 проработаны-вопросы создания.гибридных моделей и особенности их реализации в1 интеллектуальных системах.'

Такимюбразом, решаемые вдассертационнойфаботе задачи-создания5 алгоритмического- и*- программного обеспечения. ИИТ на основе нейронных сетей и различных гибридных моделей для повышения' эффективности peav лизации в них механизмов обучения, самообучения и1 адаптации к особенностям проблемной среды являются важными и актуальными.

Целью диссертации является повышение эффективности структурно-параметрического синтеза нейросетевых и гибридных моделей сложных систем для обоснованного принятия решений при автоматизированном формировании интеллектуальных информационных технологий.

Для достижения поставленной цели необходимо решить следующие основные задачи.

1. Проанализировать существующие методы формирования интеллектуальных информационных технологий для решения практических задач. Выявить их достоинства и недостатки.

2. Разработать и исследовать принципы автоматизации построения базовых нейросетевых моделей, ориентированных на специфику предметной области и предназначенных для комплексного решения типовых задач, лежащих в основе создания интеллектуальных информационных технологий.

3. Разработать и исследовать эффективность гибридных нейросетевых моделей на, основе использования генетических, алгоритмов и систем на нечеткой логике.

4. Выполнить программную реализацию разработанных методов и алгоритмов. Проверить их работоспособность на тестовых задачах.

5. Исследовать на практике эффективность применения созданных методов, алгоритмов и инструментальных средств, точности заложенных в них методов и алгоритмов подготовки и формирования интеллектуальной, информационной технологии для решения практических задач.

Методы исследования. Проведенные теоретические и прикладные исследования базируются на, методах современного системного анализа, нейро-информатики, генетических и эволюционных алгоритмов (ГА),-теории, нечеткой'логики, теории распознавания образов, теории оптимизации, методах математической статистики, объектно-ориентированного программирования.

Научную * новизну полученных в работе результатов определяют.

1. Модифицированный конструктивный алгоритм, автоматически формирующий нейросетевые модели, отличающийся от известных универсальностью подхода к выбору топологии НС, что позволяет уменьшить время обучения и время распознавания в НС.

2. Новые эволюционные алгоритмы, отличающиеся комплексностью подхода к созданию нейросетевой модели и позволяющие, в отличие от известных, минимизировать как топологию, так и ошибку обучения НС.

3. Методика и алгоритмы формирования специализированных баз знаний на основе предварительно обученных нейросетевых модулей, обеспечивающих гибкость их применения для решения конкретных задач и накопление опыта эксперта в заданной предметной области.

4. Новые методы и алгоритмы на основе совместного использования НС, систем нечеткой логики, алгоритмов глобальной оптимизации, позволяющие осуществлять комплексное моделирование сложных систем интеллектуальными информационными технологиями.

Практическая значимость результатов диссертационной работы определяется созданием формальных методик, позволяющих автоматически проектировать интеллектуальные информационные технологии. Разработанные программные системы позволяют пользователю, не обладающему профессиональными знаниями в области ИИТ, НС, эволюционного моделирования, получать решения для конкретных практических задач. Теоретические и практические результаты реализованы в виде программных модулей, позволяющих проверить работоспособность разработанных алгоритмов.

Полученные в диссертационной работе результаты внедрены в учебный процесс кафедры «Компьютерные системы и сети» Калужского филиала МГТУ им. Н.Э.Баумана, кафедры «Прикладная? информатика» Калужского филиала Российского государственного гуманитарного университета при чтении лекций и проведении лабораторных занятий по курсам «Нейронные сети», «Информационные технологии», «Модели и алгоритмы обработки информации», использованы при выполнении работ по проектированию и оптимизации компьютерных систем в НПФ «Эверест» (г. Калуга) и Калужском НИИ телемеханических устройств, а также для повышения эффективности функционирования центра информационных технологий и систем (ЦИТ и С) и ООО «Ро-синтер ресторантс» (г. Москва).

В первой главе представлен обзор и анализ современных проблем в области создания интеллектуальных информационных технологий, расширяющих возможности компьютерных систем при решении сложных прикладных задач. Отмечаются характерные особенности задач, решаемых на основе ИИТ: неполнота и неточность исходных данных о решаемой задаче; наличие недетерминизма в процессе поиска решения; высокая вычислительная сложность получения результата. Перечисленные особенности не позволяют использовать для решения таких задач строгие алгоритмические методы и модели. ИИТ, используя подходы искусственного интеллекта, позволяет даже для таких задач обеспечить решение с приемлемой точностью за приемлемое время.

Исследование программных моделирующих нейросетевых комплексов показало, что актуальной проблемой является разработка интеллектуальных компонент в составе моделирующей системы на основе не только нейросетевых, но и гибридных технологий. На основании проведенного обзора и анализа методик создания ИИТ сформулирована цель исследований и основные задачи, решением которых она достигается.

Вторая глава посвящена вопросам структурно-параметрического синтеза нейросетевой модели и организации нейросетевых баз знаний на основе предварительно обученных на решение определенной проблемы нейронных модулей.

Отсутствие в настоящее время формальных методов выбора типа НС заставляет разработчиков-использовать накопленный опыт работы с различными типами НС. Проведенные исследование и классификация НС и решаемых ими задач позволила в данной работе выбрать следующие типы. НС: нейронные сети без обратных связей, в которых имеются только прямые (последовательные и, возможно, перекрестные) или латеральные связи. Этот тип сетей охватывает достаточно широкий класс НС, дает возможность строить эффективные ИИТ, в которых интегрируются несколько информационных технологий.

Исследованы проблемы синтеза НС для конкретной решаемой задачи, главными из которых являются следующие: отсутствие формальных методов выбора типа НС, адекватной решаемому классу задач; недостаточная обоснованность выбора методов оптимизации в процедуре обучения НС, что приводит к большим ошибкам прогноза и времени обучения; высокая комбинаторная сложность проблем, связанных с автоматическим формированием топологии НС, что во многих случаях не позволяет создавать ИИТ на базе НС с минимальной сложностью.

Проведено сравнение известных алгоритмов формирования топологии НС для конкретной решаемой задачи. Разработан модифицированный конструктивный алгоритм, обеспечивающий, в отличие от известного метода динамического наращивания нейронов НС, итерационный способ наращивания нейронов с учетом скорости изменения ошибки обучения Ео и одновременным обучением только части нейронов очередного слоя.

Разработанный алгоритм позволяет выявить значимые и незначимые нейроны в процессе их добавления в структуру НС, производить, обучение только для значимых нейронов-и тем самым сократить время формирования топологии НС.

Исследована процедура обучения НС, связанная с минимизацией ошибки обучения в пространстве весовых коэффициентов связей между нейронами сети, задаваемых числовым вектором межнейронных связей W.

Выявлены основные проблемы, возникающие при обучении НС по алгоритму обратного распространения ошибки (Back Propagation - BP)- .Для построения алгоритма обученияНС, альтернативного BP; а также для разработки универсального метода формирования топологии НС проведено экспериментальное исследование генетического алгоритма (ГА).

На эффективность ГА в смысле повышения скорости сходимости алгоритма и процента нахождения глобального или близкого к нему решения влияют методы кодирования потенциальных решений и выбранные параметры популяции, к которым относятся размер популяции и механизм построения начальной популяции, вид функции качества Fit, типы генетических операторов - мутации, кроссинговера, селекции и отбора хромосом.

Разработаны способы кодирования решений, позволяющие как на этапе инициализации популяции, так и на этапе работы ГА получать только допустимые решения. Предложены новые генетические операторы на основе биологических аналогов: кроссинговера (рекомбинация), хромосомной мутации (робертсоновские транслокации,), селекции ("дальнее" и "ближнее" родство"), отбора ("мягкая" схема). Полученные рекомендации использованы при конструировании генетических алгоритмов для обучения НС.

Разработана схема многопопуляционного алгоритма, отличающаяся от известных решением проблем определения момента начала взаимодействий tv и способами обмена хромосомами между популяциями. На основе полученных результатов исследования ГА разработан*алгоритм обучения, отличный от BP. г

Были исследованы следующие • методы- локальной» оптимизации и их комбинации с ГА: метод Коши, метод Дэвидона - Флетчера - Пауэлла (ДФП) и Бройдена - Флетчера - Гольдфарба - Шанно (Broyden, Goldfarb, Shanno - -BFGS).

Были исследованы комбинированные методы оптимизации на основе ГА и локальных методов оптимизации. Применение комбинированных моделей позволило разрабатывать алгоритмы обучения НС, обладающие высокой скоростью сходимости с одновременным, повышением' вероятности нахождения* глобального экстремума (ошибка распознавания уменьшается примерно на' 10%).

Разработан^ алгоритм, интерпретации результатов работы. НС. Проблема использования НС в ИИТ заключается в том, что итогом обучения НС являет-сяv числовой вектор весовых коэффициентов* W, который трудно интерпретировать. В диссертации решение задачи интерпретаций получено на основе разработки оригинального алгоритма формирования нечеткой, базы знаний по примерам, который на основе заданной обучающей выборки позволяет формировать продукционные правила IF - THEN. Исследована проблема устранения конфликтов при создании базы знаний.

Третья глава посвящена повышению эффективности использования нейросетевых и гибридных моделей в ИИТ.

Предложен алгоритм построения адаптивного ГА, т.е. такого алгоритма (внутреннего), параметры которого настраиваются с помощью другого ГА (внешнего). Алгоритм выбора генетических операторов с помощью внешнего алгоритма относится к алгоритму комбинаторной оптимизации и выполняется в два этапа. На первом этапе определяется вид хромосомы внешнего ГА, генами в которой являются подбираемые параметры внутреннего ГА: тип оператора кроссинговера, тип оператора мутации, тип оператора селекции, тип оператора отбора, размер популяции. На втором этапе на каждой итерации работы внешнего ГА для оценки качества каждой хромосомы происходит функционирование внутреннего ГА с параметрами, выбранными на данной итерации.

Разработан комбинированный алгоритм обучения НС: на основе генетического алгоритма,и алгоритма имитации отжига (АИО). Создание такого алгоритма открывает возможность динамически менять типы и вероятность применения генетических операторов на различных этапах поиска минимума с целью снижения^ временных затрат и повышения вероятности нахождения глобального экстремума. Это достигается введением в процедуру оптимизации ошибки обучения Ео управляющего параметра "температуры" t, который постепенно уменьшаясь по заданному закону, позволяет стабилизироваться'Ео в состоянии минимума. В отличие от известных комбинированных алгоритмов на основе ГА и АИО в предложенном варианте используются новые исследованные в работе генетические операторы, позволяющие* учитывать состояние среды поиска.

Проведен сравнительный анализ нейросетевых моделей с традиционными классификаторами на основе методов к- ближайших соседей и потенциальных функций.

Предложены и программно реализованы усовершенствованные нейросе-тевые классификаторы персептронного типа, позволяющие устранить выявленные недостатки алгоритма обратного распространения ошибки BP: медленную сходимость и возможность блокировки сети. Для решения этой проблемы в работе предложен метод автоматической подстройки параметров обучения НС на основе методов нечеткой логики. Идея подхода заключается, в том, чтобы величина скорости обучения не оставалась постоянной на протяжении всей процедуры обучения, а изменялась в процессе работы алгоритма BP, в зависимости от определенных условий.

Четвертая глава посвящена исследованию разработанных методов и алгоритмов при решении практических задач.

Представлены результаты практической проверки эффективности разработанных и исследованных в диссертации нейросетевых и гибридных методов и технологий на раннем этапе проектирования и моделирования компьютерных систем и сетей, и при» автоматизациишоиска информации в: сети Интернет.

Проведены эксперименты, направленные на* сравнение эффективности поиска5 документов с помощью метапоисковой: системы использующей Neuro searcher использующей НСБЗ и популярными поисковыми и метапоисковыми системами; Результаты экспериментов подтвердили, что эффективность разработанной. метапоисковой' системы выше, чем эффективность каждой: из используемых в ее работе систем в отдельности.

Представлены результаты решения ряда важных практических задачу связанных с созданием компьютерных сетей* коммерческих организаций: (НПФ ' «Эверест»). •

Результаты исследований позволили сформулировать следующие положения, выносимыена защиту:

1. Применение: новой формальноймодели«для-выбора, архитектуры НС, которая позволяет получить НС меньшей вычислительной; сложности: при сохранении точности решаемой: задачи.

Многопопуляционный параллельный генетический алгоритм, обеспечивающий возможность одновременного развития нескольких популяций, что позволяет повысить эффективность эволюционного поиска минимальной ошибки обучения НС в ИИТ.

Методы и алгоритмы формирования специализированных нейросетевых баз знаний на основе предварительно обученных нейронных модулей, обеспечивающих гибкость и снижение времени на разработку основной модели НС в ИИТ.

Комплекс гибридных моделей на основе совместного использования НС, нечеткой логики и ГА, позволяющий повысить точность моделирования предметной области с помощью ИИТ.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Воеводин, Юрий Юрьевич

Выводы по главе 4

1. Проведенные исследования подтверждают, что использование нейронных сетей позволяет увеличить качество поиска информации в сети Интернет в среднем на 20%. Данный вывод сделан на основе сравнения средних оценок документов, даваемых пользователями после анализа предоставленных документов. Кроме того, количество документов, просматриваемых и оцениваемых пользователем, также постоянно сокращалось.

2. Проведено исследование, сравнивающее систему с каждой из отдельных поисковых систем и с метапоисковой системой отбирающей равное количество документов от каждой системы. Результаты исследования показали, что система, использующая НС, более эффективна по такому показателю, как усредненная оценка документов.

3. Были проведены исследования, подтвердившие преимущество НС блока над отдельными нейронными сетями.

4. Были проведены исследования, подтвердившие преимущества нейронных сетей с адаптивной подстройкой топологии над сетями с фиксированной топологией.

5. На основе разработанных методов, алгоритмов и программных средств решен ряд важных практических задач, связанных с созданием вычислительных средств, модернизацией специализированных вычислительных систем, обслуживающих военные объекты (КНИИТМУ), созданием компьютерных сетей коммерческих организаций (научно-промышленная фирма «Эверест. Накопленный опыт позволяет наметить пути дальнейшего совершенствования разработанных и исследованных в диссертации интеллектуальных информационных технологий.

139

ЗАКЛЮЧЕНИЕ

Проведено теоретическое обобщение и получено решение важной научно-технической проблемы создания методологической базы, моделей, методов, алгоритмов и программ для формирования интеллектуальной информационной технологии нового типа, обеспечивающей обучение, адаптацию и модификацию нейросетевых баз знаний к проблемной среде с учетом неполноты исходной информации.

Разработаны методы и алгоритмы, повышающие эффективность использования нейросетевых и гибридных моделей в ИИТ, и на их основе создан комплекс программных средств, обеспечивающий адаптацию, обучение, самообучение и модификацию нейросетевых и гибридных модулей обработки информации с учетом специфики предметной области. Разработаны принципы построения специализированных нейросетевых баз знаний для конкретной проблемной области и методы формирования нейронных сетей на основе предварительного обучения базовых нейросетевых и гибридных модулей, обеспечивающих их модификацию, обучение и адаптацию к решаемой задаче.

Проведено теоретическое и экспериментальное исследование генетического алгоритма (ГА) для обучения НС, являющегося альтернативой алгоритму обратного распространения ошибки (Back Propagation -BP), обеспечивающего увеличение скорости сходимости к глобальному минимуму ошибки обучения и уменьшение ошибки распознавания, а именно:

• на основе анализа естественных природных- механизмов эволюции предложены, реализованы новые операторы селекции хромосом, кроссинго-вера; хромосомной мутации, отбора, которые; в отличие от классических, повышают вероятность нахождения глобального экстремума функции ошибки НС со сложным ландшафтом. Проведено экспериментальное исследование влияния предложенных операторов на эффективность поиска и получены рекомендации о целесообразном их использовании в генетическом алгоритме при оптимизации функции ошибки НС;

• предложен, исследован и реализован многопопуляционный генетический алгоритм обучения НС, позволяющий, в отличие от известных, изменять процедуру обмена хромосом между популяциями, в зависимости от ситуации поиска, что повышает достоверность принимаемого решения;

• разработан, исследован и реализован двухэтапный алгоритм оптимизации, позволяющий за счет использования на первом этапе генетического алгоритма быстро локализовать область существования глобального экстремума, а на втором за счет использования локального алгоритма оптимизации повысить точность нахождения экстремума.

5. Решена задача настройки (автоматического формирования топологии) нейронного модуля и многомодульной нейронной сети (НС) на конкретную прикладную задачу, на основе модифицированного конструктивного подхода и генетического алгоритма, экспериментальное исследование которых показало, что количество межнейронных связей в нейронном модуле уменьшается примерно на 30% по сравнению с полносвязной НС, что позволяет, в свою очередь, уменьшить время распознавания и время обучения в НС, использующих данный модуль.

6. Создана методологическая и инструментальная среда для построения нейросетевых моделей с требуемыми характеристиками из предварительно обученных и вновь разрабатываемых нейросетевых и гибридных модулей в составе РШТ для конкретных приложений. С помощью разработанных программных средств решены реальные практические задачи моделирования технических систем и систем поиска информации. Таким образом, в данной работе предложено решение задачи автоматизации проектирования интеллектуальных информационных технологи на основе перспективных нейросетевых моделей, что имеет существенное значение для теории и практики1 интеллектуального анализа и обработки дан

Список литературы диссертационного исследования кандидат технических наук Воеводин, Юрий Юрьевич, 2009 год

1. Аведьян Э.Д. Ассоциативная нейронная сеть СМАС // Сборник статей "Проблемы построения и обучения нейронных сетей". -М.: Машиностроение. -1999.

2. Аверченков В.И. Система формирования знаний в среде Интернет/ В.И. Аверченков, A.B. Заболеева-Зотова, Ю.М. Казаков, Е.А. Леонов, С.М. Ро-щин//Брянск: БГТУ. 2008. 181 с.

3. Арлазаров В.Л., Журавлев Ю.И., Ларичев О.И., Лохин В.М., Макаров И.М., Рахманкулов В.З., Финн В.К. Теория и методы создания интеллектуальных компьютерных систем // Информационные технологии и вычислительные системы. -1998. -№1

4. Байдык Т.Н. Нейронные сети и задачи искусственного интеллекта. Киев.: Наукова Думка, 2001.

5. Балухто А.Н. Общий методический подход к решению задач обработки информации в нейросетевом базисе. Нейрокомпьютеры в прикладных задачах обработки изображений. -Кн.25. —Под редакцией А.И. Галушкина и• Балухто А.Н. -М. Радиотехника. -2007.-С. 110-117.

6. Батищев Д.И. Генетические алгоритмы решения экстремальных задач. — Воронеж: Изд-во ВГТУ, 1995.

7. Батищев Д.И. Поисковые методы оптимального проектирования. — М.:Советское радио. -1975.

8. Бендат Дж., Пирсол А. Измерение и анализ случайных процессов. М.: Мир, 1974.

9. Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных интеллектуальных системах. — Ростов-на-Дону: Изд-во РГУ, 1999.

10. Бодянский Е.В., Руденко О.Г. Искусственные нейронные сети: архитектуры, обучение, применения. —Харьков.: Телетех. — 2004.

11. И. Борель Э., Дельтейл Р., Юрон Р. Вероятности, ошибки / Пер. с франц. — М.: Статистика, 1972.

12. Букатова И.Л., Михасев Ю.И., Шаров А.М. Эвоинформатика. Теория и практика эволюционного моделирования. — М.: Наука, 1991.

13. Вагин В.Н., Федотов A.A., Фомина М.В. Методы извлечения и обоб-щения информации в больших базах данных // Известия РАН.: Теория и сис-темы управления. -1999. -№5.

14. Воеводин Ю.Ю. Использование нейросетевых технологий для по-строения метапоисковых систем // Известия Таганрогского радиотехниче-ского университета. Из-во ТРТУ. -2006. №6 -С. 82-86.

15. Воеводин Ю.Ю. Исследование алгоритмов обучения нейронных сетей // Региональная студенческая конференция «Применение кибернетических методов в решении проблем общества XXI века». Тезисы докладов. Обнинск: ИАТЭ. 2003. -С. 32-33.

16. Воеводин Ю.Ю. Применение генетического алгоритма для оптимизации параметров нейронной сети в задачах классификации. // Пятая- региональная конференция «Информатика: проблемы, методология; технологии». -М.:Из-во МГТУ им Баумана. -2005. -С 42-46.

17. Воеводин Ю.Ю. Применение генетического алгоритма для оптимизации параметров нейронной сети при, решении задачи аппроксимации функций // Сб. трудов 7 Международного симпозиума Интеллектуальные-системы с. 90-92 М!: РУСАКИ.-2006:

18. Вороновский Г.А., Махотило К.В., Петрашев С.Н., Сергеев С.А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. -X.: ОСНОВА, 1997. -112 с.

19. Гаврилова Т.А., Хорошевский В.Р. Базы знаний интеллектуальных систем. -СПб.: Питер. -2000.

20. Галушкин А.И. Нейрокомпьютеры. Кн. 3. - М.: ИПРЖР, 2000.

21. Галушкин А.И. Теория нейронных сетей. Кн. 1. - М.: ИПРЖР, 2000.

22. Гареев А.Ф. Применение вероятностной нейронной сети для автоматического рубрицирования текстов // Всероссийская научно-техническая конференция Нейроинформатика-1999, сб.научн.т., М.1999.

23. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация / Пер. с англ. -М.: Мир. -1985.

24. Гладков JI.A., Курейчик В.В., Курейчик В.М. Генетические алгоритмы. Учебное пособие. -М.: Физматлит, 2006.

25. Головко В.А. Нейронные сети: обучение, организация, применение.-Кн.4. -М.: ИПРЖР. -2001.

26. Горбань А.Н. Обучение нейронных сетей.- М.: изд. USSR-USA JV "ParaGraph", 1990.

27. Горбань А.Н., Дунин-Барковский B.JI. и др. Нейроинформатика // Новосибирск: Наука, Сибирская издательская фирма РАН. 1998.

28. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск.: Наука. СО РАН. -1996.

29. Добрынин В.Ю. Методические указания к курсу "Теория информационно-логических систем. Информационный.поиск" http://ir.apmath.spbu.ru

30. Дубинин Н.П. Избранные-труды: Т.1-. Проблемы гена и эволюции. М.: Наука, 2000

31. Ежов A.A., Шумский С.А. Нейрокомпьютинг и его применение в экономике и бизнесе.-М. :МИФИ,-1998.

32. Емельянов,В,В., Курейчик В.М., Курейчик В.В. Теория и практика*эволюционного моделирования.-М.: Физматлит.-2003.

33. Еремеев А.П. Об интеграции моделей в интеллектуальных системах поддержки принятия решений// Труды 9-й- национальной конференции по искусственному интеллекту КИИ'2004- Mi: Физматлит, 2004 Т.2. - С.815-823.

34. Жабко Е.Д. Справочно-библиографическое обслуживание в электронной среде: теория-и практика : монография / Е.Д. Жабко ; Рос. нац. б-ка. СПб., 2006. - 387 с. - Библиогр.: с. 326-364 (481 назв.). Шифр РНБ: Л1 Ч75/Ж-123 ; Б Б135/Ж-12.

35. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений: Пер. с англ. М.: Мир, 1976.

36. Интеллектуальные системы: Коллективная монография/ Под ред. В.М.Курейчика.- Вып 2. -М.: Физматлит. -2007.

37. Искусственный интеллект. Справочник в трех томах / под ред. В. Н. Захарова, Э. В. Попова, Д. А. Поспелова, В. Ф. Хорошевского- М.: Радио и связь, 1990.

38. Калиткин H.H. Численные методы. М.: Наука, 1978. - 512 с.

39. Каллан Р. Основные концепции нейронных сетей. Санкт-Петербург. -Вильямс.-2001.

40. Ковалев С.М., Родзин С.И. Информационные технологии: интеллектуализация обучения, моделирование эволюции, распознавание речи. — Ростов-на-Дону: Изд-во СКНЦ ВШ, 2002.

41. Комарцова Л. Г. Исследование нейросетевых и гибридных методов и технологий в интеллектуальных системах поддержки принятия решений : Дис. д-ра техн. наук : 05.13.11 : Калуга, 2003 436 с. РГБ ОД, 71:04-5/432.

42. Комарцова Л.Г., Воеводин Ю.Ю. Нейросетевые методы эффективного поиска релевантной информации в сети Интернет.// -Тр. 10-й национальной конференции по искусственному интеллекту с международным участием. -М. : Физматлит. -Т.2. -2006. -С. 626-634.

43. Комарцова Л.Г., Воеводин Ю.Ю. Особенности построения интеллектуальных эволюционных систем // Методы исследования и проектирования СТС. Научные труды МГТУ им. Н.Э. Баумана. №588. -М.: МГТУ им. Н.Э. Баумана. -2005.-С. 43-53.

44. Комарцова Л.Г., Воеводин Ю.Ю. Проблема адаптации нейронной сети к решению прикладных задач. // Сборник научных трудов международного форума «Информатика МФИ -2003. Информационные средства и технологии». -М.: МЭИ. -2003. -Т.2.- С. 39-42.

45. Комарцова Л.Г., Воеводин Ю.Ю. Эволюционный подход к формированию топологии нейронной сети // Научные труды МГТУ им. Н.Э.Баумана №589 -М.: МГТУ им. Н.Э. Баумана. -2006.-С. 53-63.

46. Комарцова Л.Г., Голубин A.B. Адаптация параметров генетических алгоритмов при поиске решений// Сборник научных трудов. Научная сессия МИФИ-2003.-М.:Изд-во МИФИ, 2003.- Т.З. С.124-125.

47. Комарцова Л.Г., Максимов A.B. Нейрокомпьютеры. М.: МГТУ им. Н.Э. Баумана, 2004.-400 с.

48. Корячко В.П., Курейчик В.М., Норенков И.П. Теоретические основы САПР. -М.: Энергоатомиздат, 1987.

49. Красилов В.А. Нерешенные проблемы теории эволюции. Владивосток, 1986.

50. Красилов В.А. Теория эволюции: необходимость нового синтеза // Эволюционные исследования. Макроэволюция. — Владивосток: ДВНЦ АН СССР, 1984.-С.4-12.

51. Круглов В.В:, Борисов В.В. Искусственные нейронные сети. Теория и практика. -М.: Телеком. -2001.

52. Кураленок И.Е., Некрестьянов Й.С. Оценка систем текстового поиска // Программирование, 28(4): 226-242, 2002.

53. Курейчик В.М., Курейчик В.В. Эволюционные, синергетические и гомео-статические стратегии в искусственном интеллекте: сосотояние и перспективы // Новости искусственного интеллекта. -№3>. -2000. -С.39-65.

54. Курейчик В.В. Построение моделей эволюций// Интеллектуальные системы/ Под ред. В.М.Курейчика. М.: Физматлит, 2005. - С.47-56.

55. Курейчик В:В. Эволюционные методы решения оптимизационных задач. — Таганрог: Изд-во ТРТУ, 1999.

56. Курейчик B.B. Эволюционные, синергетические и гомеостатические методы принятия решений: Монография. — Таганрог: Изд-во ТРТУ, 2001.

57. Курейчик В.М., Родзин С.И. Эволюционные вычисления: генетическое и эволюционное программирование // Новости искусственного интеллекта. — 2003. — №5. С.13-19.

58. Ландэ Д.В. Поисковые системы: поле боя семантика // Киев. Журнал "Телеком", N 4, 2004, С. 44-50.

59. Ландэ Д.В., Фурашев В.Н., Брайчевский С.М., Григорьев А.Н. Основы моделирования и оценки электронных информационных потоков: Монография. Киев: Инжиниринг, 2006.

60. Ларичев О.И. Теория и методы принятия решений. — М.: Логос. -2002.

61. Лю Б. Теория и практика неопределенного программирования.-Пер. с англ. -М.:Бином. Лаборатория знаний. -Под ред Тюменцева Ю.В. -2005.

62. Люгер Дж.Ф. Искусственный интеллект. Стратегии и методы решения сложных проблем: Пер с англ. — М.: Изд. Дом .«Вильяме», 2003. J

63. Медведев B.C., Потемкин В.Г. Нейронные сети. Matlab 6.0. -М.:ДиалогМИФИ. -2002.

64. Миркес Е.М. Нейроинформатика: Учеб. пособие для студентов. Красноярск: ИПЦ КГТУ, 2002, 347 с.

65. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск: Наука.-Сибирское отделение РАН, 1999.

66. Нейрокомпьютеры и интеллектуальные роботы // Под ред. Амосова Н.М. -Киев. -Наукова думка. -1994.

67. Нейронные сети. Statistical Neural Networks // Пер. с англ. М.: Горячая линия -Телеком, 2000.

68. Некрестьянов И.С., Пантелеева Н. Системы текстового поиска для Веб // Программирование, 28(4): 207-225, 2002.

69. Нечаев Ю.И. Современные проблемы нейроинформатики.-М.:Радиотехника.-2006.

70. Нильсон Н. Принципы искусственного интеллекта. Методы поиска решений. М : Мир, 1972. -234 с.

71. Нильсон Н. Принципы искусственного интеллекта: Пер. с англ. — М.: Издательский Дом «Вильяме», 2001.

72. Норенков И.П. Эвристики и их комбинации в генетических методах дискретной оптимизации// Информационные технологии. 1999. - №1. - С. 27.

73. Норенков И.П., Арутюнян Н.М. Метагенетический алгоритм оптимизации и структурного синтеза проектных решений. —Информационные технологии.-№3.-2007.-С. 10-13.

74. Норенков И.П., Косачевский О.Т. Генетические алгоритмы комбинирования эвристик в задачах дискретной оптимизации // Информационные технологии. 1999. - №2. - С.2-7.

75. Осипов Г.С. Динамика в системах, основанных на знаниях// Известия РАН: Теория и системы управления. 1998. - №5. - C.24-28i

76. Осипов F.G. Приобретение знаний: интеллектуальными системами. М.: Наука. Физматлит, 1997.

77. Осипов Г.С. Работы исследовательского центра искусственного интеллекта // Труды международной конференции "Программные системы: теория1, и приложения", Переславль-Залесский, М.: Физматлит, 2004, л. 1,,с. 117-126.

78. Осипов Г.С., Куршев Е.П., Кормалев Д.А., Трофимов И.В., Рябков О.В., Тихомиров И.А.: Препринт // Семантический поиск в среде интернет. — Переславль-Залесский, ИПС РАН, 2003.

79. Осипов Г.С., Куршев Е.П., Рябков О.В. и др. Интеллектуальная метапоис-ковая система // Труды международного семинара Диалог'2002 «Компьютерная лингвистика и интеллектуальные технологии». — М.: Наука, 2002, с. 320-330.

80. Осипов Г.С., Тихомиров И.А., Смирнов И.В. Exactus система интеллектуального метапоиска в сети Интернет // Труды десятой национальной конференции по искусственному интеллекту с международным участием КИИ-2006. М.: Физматлит, 2006. т. 3, с.859-866.

81. Осовский С. Нейронные сети для обработки информации /Пер. с польского. -М.: Финансы и статистика. -2002.

82. Пиотровский Р.Г. Текст, машина, человек. — СПб.: Наука, 1975.

83. Прикладные нечеткие системы // Под редакцией Тэрано Т. -Пер. с англ. -М.:Мир. -1993.

84. Ратнер А.Н. Генетика. Молекулярная кибернетика. -Новосибирск.: Наука. -2002.

85. Редько В.Г. Эволюционная кибернетика. М.: Наука, 2001.

86. Реклейтис А., Рейвиндран А. и др. Оптимизация в технике. — В 2-х кн. — М.: Мир, 1988.

87. Родзин С.И. Эволюционные стратегии: концепция и результаты // Перспективные информационные технологии и интеллектуальные системы. — 2002. -№2. -С.4-12.

88. Скурихин А.Г. Генетические алгоритмы// Новости искусственного интеллекта. 1995. - №4. - С.6-46.151 ■'.

89. Стефанюк B.JI. Локальная организация интеллектуальных систем. М.: Физматлит, 2004.

90. Сэлтон Г., Автоматическая обработка, хранение и поиск информации. -М.: Советское радио, 1973.

91. Тарасов В.Б. От многоагентных систем к интеллектуальным организациям: философия, психология, информатика. -М.:Эдиториал УРСС. -2002.

92. Тархов Д.А. Нейронные сети. Модели и алгоритмы. ~М.: Радиотехника,-2005.

93. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач.-М:Наука.-1979.

94. Тихонов В. Архитектура метапоисковых систем, htpp ://www. getinfo.ru/article267.html

95. Федотов B.X. Нейронные сети в MS Excel: Метод, указания к практ. занятиям и лабораторным работам // Чуваш, унниверситет. Чебоксары, 2004. 72 с.

96. Фогель Л., Оуэне А., Уолш М. Искусственный интеллект и эволюционное моделирование: Пер. с англ. М;: Мир, 1969.

97. Харламов- A.A. Нейросетевая технология' представления и обработки; информации. Естественное представление знаний. -М.:Радиотехника.-2006.

98. Хорошевский В.Ф. Ontosminer;: семейство систем извлечения информации из мультиязычных коллекций документов: Гр. 9-й национальной конференции по искусственному интеллекту с международным участием. —М. : Физматлит. -2004,-Т.2.-С. 573-581,

99. Шумский С.А. Байесова регуляризация обучения // Научная сессия МИ-ФИ-2002. Сб. научных трудов 4 -ой Всероссийской конференции "Нейро-информатика-2002". -В 2 частях. -Ч;1. ,-М;!:МИФИь2002. ;

100. Ярушкина П.Г. Гибридные системы, основанные на ¡мягких; вычисление ях: определение; архитектура, возможности// Программные продукты и системы. 2002: - №3. - С. 19-22.

101. Baeza-Yates R. A., Ribeiro-Neto B. A. Modern Information Retrieval. ACM Press, Addison-Wesley, 1999.

102. Chin-Ming Chen, Hahn-Ming Lee, Ming-Tyan Kao Multi-class SVM with negative data selection for Web page classification // Proceedings of 2004 IEEE International Joint Conference on Neural networks, 2004. Vol. 3. - P.2047-2052.

103. Freeman J. Neural Networks: Algorithms, Applications, and Programming Techniques // Addison-Wesley, 1991.121. http://cml.ics.uci.edu/

104. Holland J.H. Adaptation in Natural and Artificial Systems: An Introductory Analysis with Application to Biology, Control, and Artificial Intelligence. — Ann Arbor: University of Michigan Press, 1975.

105. Kasabov N., Benuskova L. and Wysoski S.G. Computational neurogenetic modelling: gene networks within neural networks // Proceedings of 2004 IEEE International Joint Conference on Neural networks, 2004. Vol. 2. - P. 1203 -1208.

106. Kasabov N.K., Foundations*of Neural Networks, Fuzzy Systems and Knowledge Engineering. The MIT Press, Cambridge, London, 1996

107. Kohonen T. Self-organization and Associative Memory. Springer-Verlag: New York, 1984.

108. Kohonen T. Self-Organizing Maps, Springer, 1995.

109. Kosko B. Neural Networks and Fuzzy Systems. Englewood Cliffs: Prentice Hall, 1992.

110. Kussul N., Shelestov A., Sidorenko A., Pasechnik V., Skakun S., Veremeyen-ko Y., Levchenko N. Multi-agent security system based on neural network model of user behaviour // International Journal "Information Theories & Applications". Vol.10 P.184-188.

111. Lawrence S., Giles C. Searching tnS^Web: General and Scientific Information Access // IEEE Communications Magazine. January 1999, P. 116-122.

112. Michie D., Spiegelhalter D.J., Taylor C.C. Machine learning, neural and statistical classification // Elis Horwood, London, 1994.

113. Qun Song, Kasabov N. WDN-RBF: weighted data normalization for radial basic function type neural networks Neural Networks // Proceedings of 2004 IEEE International Joint Conference on Neural networks, 2004. Vol. 3. -P.2095 - 2098.

114. Selberg E., Etzioni O. Multi-Engine Search and Comparison Using the Meta-Crawler, Proceedings of the Fourth International Conference on the World Wide Web, pp. 195-208, 1995.