Моделирование технологии использования нейронных сетей с учителем для решения прикладных задач тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Решетникова, Наталья Владимировна

• Решетникова, Наталья Владимировна
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Решетникова, Наталья Владимировна

Введение.

Глава 1 Обзор существующих методов моделирования прикладных систем и технологий.

1.1 Методы создания функциональных моделей.

1.2 Существующие языки описания неиросетевых моде- 18 лей.

1.3 Существующие элементы описания нейросетевой технологии.

Глава 2 Описание нейросетевой технологии использования нейронных сетей с учителем.

2.1 Описание технологии использования нейронных сетей с учителем.

2.2 Моделирование технологии нейронных сетей с учите- 37 лем на основе IDEF.

Глава 3 Формальный язык и грамматика описания нейросетевой технологии.

3.1 Уровень операций пользователя (2-й уровень).

3.2 Особенности построения грамматики.

3.3 Примеры вывода слов и построения деревьев.

3.4 Определение типа и свойств грамматики.

3.5 Преобразование к нормальным формам.

3.6 Приведение к каноническому виду.

3.6.1 Удаление бесплодных символов.

3.6.2 Удаление недостижимых символов.

3.6.3 Устранение А.-правил.

3.6.4 Устранение цепных правил.

3.7 Преобразование к нормальной форме Хомского.

3.8 Устранение левой рекурсии.

3.9 Преобразование к нормальной форме Грейбах.

3.10 Модификация грамматики на примере пакета 106 Statistica Neural Networks.

3.11 Модификация грамматики на примере нейроимитато- 110 pa Neurogenesis.

3.12 Описание задачи для распознавателя слов грамматики

Глава 4 Способы предобработки данных для исследования динамики параметров объектов.

4.1 Описание способов предобработки данных.

4.2 Формальное описание подходов к предобработке данных

4.3 Описание минимального набора функций предобра

J ботчика.

Глава 5 Использование формально-языковой модели и методик для исследования лингвистических и психологических данных.

5.1 Результаты анализа лингвистических данных.

5.2 Результаты анализа психологических данных. и*' 5.2.1 Обучение нейронных сетей с учителем.

5.2.2 Обучение нейронных сетей без учителя (выявление классификационной модели).

Введение диссертации (часть автореферата) на тему «Моделирование технологии использования нейронных сетей с учителем для решения прикладных задач»

В современной нейроинформатике развиваются три основных направления исследований: аппаратная реализация нейрокомпьютеров, математическое обеспечение нейронных сетей (разработка алгоритмов обучения, архитектур нейронных сетей), приложения нейронных сетей (использование готовых нейросетевых инструментов для решения исследовательских задач). Первое направление активно разрабатывается за рубежом, т.к. связано с большими финансовыми затратами. В нашей стране и в г. Красноярске развиваются в основном последние два направления. Нейронные сети широко используются на практике, накоплено большое количество различных алгоритмов обучения и архитектур нейронных сетей, приемов использования нейронных сетей для решения прикладных задач.

Существуют отдельные виды нейронных сетей, среди которых выделяют: нейронные сети с учителем (двойственные сети, сети обратного распространения), без учителя (сети естественной классификации) и другие (некоторые авторы рассматривают отдельно сети Хопфилда). Это разделение связано со спецификой обработки данных: в первом случае известны некоторые входные параметры (атрибуты) и поле ответа, во втором - ответ не известен, объекты классифицируются в пространстве параметров (задача таксономии). В настоящей работе используется абстрактная методология использования нейронных сетей с учителем. Нейросетевые технологии применимы во многих предметных областях, для решения различных прикладных задач. Есть несколько признаков, которыми может или должна обладать задача, чтобы применение нейронных сетей было оправдано [17, 19]: отсутствует алгоритм или неизвестны принципы решения задач, но накоплено достаточное число примеров; проблема характеризуется большими объемами входной информации; данные неполны или избыточны, зашумлены, частично противоречивы.

Основные типы задач, решаемых с помощью нейронных сетей с учителем:

1) предсказание (действительного) числа или предикция (иначе называемая нейросетевой регрессией);

2) оптимизация.

Дополнительные задачи:

5) прогноз ("что будет завтра?");

6) условный прогноз ("что будет завтра, если .?");

7) определение значимости входных параметров.

Для решения задач требуется установить технологию (порядок, методику) использования соответствующих операций, последовательно выполняя которые пользователь получит какие-либо результаты.

Среди алгоритмов и архитектур нейронных сетей большое место занимают алгоритмы двойственных нейронных сетей или нейронных сетей обратного распространения. В данной работе эти алгоритмы и архитектуры предлагается называть нейронными сетями с учителем, так как кроме часто используемых методов обратного распространения ошибки (Back Propagation) (других направленных), применяют методы случайного поиска или обучения (ненаправленные).

Многие исследователи подходили к определению последовательности технологических операций при обработке данных, но технологические особенности достаточно редко являлись центральным местом в них. Известные работы предлагают отдельные фрагменты описания самого общего уровня абстракции, касающиеся конкретной реализации и работы нейронной сети. Общими проблемами нейроинформатики занимались (в том числе и элементами технологии использования) В. JI. Дунин-Барковский, Л. И. Галушкин, Б. Н. Оныкий, Е. М. Куссуль, J. J. Hopfield, Т. Kohonen, P. Wasserman,

R. I lecht-Nielsen, D. Л. Rummerlhart, Л. I I. Горбань, С. Л. Терехов и многие др. Задачи формализации и стандартизации нейросетевой технологии (спецификации компонент и структур нейросетевого моделирования) рассматривали Е. Fiesler, Н. J. Caulfield, М. Л. Atencia, G. Joya, F. Sandoval, A. IO. Дорогов, E. M. Миркес, С. E. Гилев и др. Предложены несколько специализированных языков, предназначенных для описания нейросетевых моделей, например Aspirin (R. R. Leighton), PlaNet v.5 (Y. Miyata), AXON (R. Hecht-Nilsen), CuPit (H. Hopp, L. Prechelt), EpsiloNN (A. Strey), CONNECT (G. Kock, N. B. Serbedzija), Nspec (G. Dorffner, I I. Wiklicky, E. Prem). Подобные языки позволяют с относительной степенью детализации описать методы моделирования нейронной сети в терминах структур данных, классов, переменных и процедур (подход на основе языков высокого уровня). Язык описания нейронных сетей PMML (The Data Mining Group) позволяет описывать только сети обратного распространения ошибки с фиксированным типом нейронов и заранее определенным набором из нескольких простейших правил предобработки и интерпретации. Язык Neural Network Markup Language - NNML (С. В. Бутаков, Д. В. Рубцов) предназначен для разработки обменного формата нейроимитаторов. При этом объектом для описания являются полностью обученные нейронные сети. Назначение предлагаемого языка - запись всей информации, необходимой для однозначного и точного воспроизведения этой нейросетевой вычислительной модели нейроимитато-ром.

Тем не менее, до сих пор технология использования нейросетевых методов и ее результаты слабо систематизированы, хотя и существуют отдельные устоявшиеся рекомендации проведения экспериментов, которые носят в основном слишком частный характер. Научные центры, занимающиеся проблемами нейроинформатики (г. Москва, г. Санкт-Петербург, г. Ростов-на-Дону, г. Барнаул, г. Красноярск и др.), определяют свои частные методы и предписания каким образом использовать неиросетевые инструменты (какие методы предобработки использовать, в каком порядке выполнять операции, как представлять и описывать результаты). Эти методики описывают различные подходы, предлагаются новые интерпретации. Недостаточное внимание уделяется проблеме совместимости и систематизации данных методов, не существует единого взгляда на данный процесс как на систему. Зачастую используют упрощенную методику проведения экспериментов и описание, не учитывающие целые группы операций, или вообще не описывают методику. В частности, в зарубежных работах, посвященных прикладным исследованиям с помощью нейронных сетей, иногда не изучаются и не проводят операции контрастирования (сокращения числа внешних или внутренних элементов). В зарубежных нейроимитаторах эти операции часто не реализованы. В настоящее время многие отдельные исследователи самостоятельно выбирают и применяют различные нейросетевые методы. Начинающие исследователи решают поставленную задачу методом проб и ошибок, сами определяют конкретную последовательность операций, при этом иногда не представляют последствия и полученные результаты. Существует большое число специализированных программ-нейроимитаторов, реализующих разные подходы и технологические особенности при обработке данных (проектирование алгоритмов и наличие или отсутствие тех или иных операций пользователя определяется разработчиком и обычно зависит от предпочтений и принадлежности автора к определенной группе).

Поэтому пользователям иногда трудно понять и каким же образом использовать нейросетевые инструменты, какие функциональные возможности использовать и в каком порядке. Это обстоятельство существенно ограничивает круг пользователей и специалистов в своей области, желающих использовать для обработки своих данных нейронные сети. До сих пор специалисты, не разбирающиеся в нейроинформатике, предпочитают использовать другие инструменты и методы. Кроме того, проблемы возникают и у пользователей среднего уровня квалификации, для которых сложно выстроить одпозначный порядок выполнения операций и определить технологию (методику) обработки данных для конкретной задачи, чтобы получить прогнозируемый результат либо определить, что же явилось причиной неудовлетворительного качества обучения сетей и что делать дальше. Поэтому на сегодняшний день является актуальной задача разработки конкретных методик, описывающих строго определенные последовательности операций для решения различных классов задач. Это позволит несколько расширить круг пользователей и поможет систематизировать процесс использования различных нейроимитаторов в едином русле. Для решения подобных задач было предложено разработать формальную модель технологии использования нейронных сетей с учителем, что может существенно облегчить трудозатраты и оказаться полезным как конкретным исследователям, особенно начинающим, так и разработчикам алгоритмов, методов, нейроимитаторов.

Цель работы: разработать формальную модель технологии использования нейронных сетей с учителем и частную методику для решения различных прикладных задач.

Для достижения поставленной цели в работе решаются следующие задачи:

1. Разрабатывается обобщенная модель на основе диаграмм процессов группы IDEF для выявления функциональных составляющих технологии (групп, подгрупп и операций).

2. Разрабатывается модель описания технологических особенностей использования нейронных сетей с учителем на основе формальных языков и грамматик, что позволит определить варианты порядка выполнения операций и устранить некорректные последовательности операций.

3. Разрабатывается частная методика обработки данных с использованием нейросетей с учителем; использовать методику для исследования лингвистических данных и других задач.

4. Разрабатываются способы предобработки данных, в первую очередь - изменение структуры, для исследования динамики изменения этих данных (при наличии параметра или параметров, определяющего время или временной интервал для каждого измерения — строки таблицы данных).

Методы исследования. В работе использовались понятия и методы формальных языков и грамматик, диаграммы процессов группы IDEF, ней-росетевые инструменты. Для программирования специализированных пре-добработчиков применялись объектно-ориентированного методы.

Научная новизна.

1. Предложен формальный язык описания технологии обработки данных с помощью нейронных сетей с учителем, позволяющий моделировать данный технологический процесс.

2. Сформулирована контекстно-свободная грамматика описания технологии использования нейронных сетей с учителем, приведены ее свойства, построены исходная и эквивалентные грамматики в нормальных формах Хомского и Грейбах.

3. Предложена формальная схема использования нейронных сетей для задачи разбиения слов естественного языка на лексико-грамматические классы (на примере английского языка) и других задач классификации.

4. Предложены способы предобработки данных, изменяющихся во времени, для исследования динамики изменения параметров объектов.

Практическая ценность. Приведенный язык формального описания технологии может быть реализован в виде компилятора либо нейроимитато-ра, который, в соответствии с данной грамматикой и языком, позволит проверить (подсказать) правильность порядка выполняемых операций и сигнализировать пользователю об ошибке. В соответствии с формально-языковой моделью и запросом пользователя (какие результаты он планирует получить) возможна реализация автоматического выполнения операций в виде системы макросов, подключаемых к конкретному нейроимитатору, что позволит значительно сократить затраты исследователя. Разработана программа - распознаватель слов соответствующего языка и грамматики описания технологии использования нейронных сетей с учителем. Построена обобщенная модель нейросетевой технологии на основе диаграмм процессов группы IDEF. Практически реализованы методы предобработки данных для исследования динамики изменения параметров объектов. Предложена методика проведения экспериментов по обработке данных и представления результатов с помощью нейронных сетей с учителем для начинающих исследователей. Показаны результаты использования методики для лексико-грамматической классификации слов языка и других задач. Создана программа-предобработчик, которая позволяет реализовать основные операции по предварительной обработке данных, включая специализированные (для исследования динамики), для дальнейшего их предъявления в качестве исходных для нейросетевой обработки.

Положения, выносимые на защиту:

1. Обобщенная модель технологии на основе диаграмм процессов группы IDEF, позволяющая определить функции и взаимосвязь операций общей технологии. Методики использования нейроимитаторов STATISTICA Neural Networks, NeuroPro, являющихся частным случаем технологии и ее модели.

2. Способы предобработки данных, изменяющихся во времени, для исследования динамики изменения параметров объектов. Способы предобработки реализованы в программном комплексе "Jointer".

3. Формальный язык, описывающий технологию использования нейронных сетей с учителем для решения прикладных задач. Построены подмножества исходного языка, описывающие особенности технологии использования некоторых нейроимитаторов. Программа - распознаватель слов формального языка.

4. Грамматика соответствующей технологии использования нейронных сетей с учителем позволяет определить возможные варианты выполнения исследования и выявить некорректные последовательности операций. Для упрощения правил грамматики получены эквивалентные грамматики в нормальных формах Хомского и Грейбах. Приведены свойства грамматики, показано, что грамматика является контекстно-свободной.

Реализация результатов работы. Результаты работы внедрены в учебный процесс в Красноярском государственном техническом университете и Сибирском государственном технологическом университете, использованы в работе зимней политехнической школы по нейроинформатике по программе "Шаг в будущее". Формальное описание нейросетевой технологии позволило повысить эффективность изучения предмета "Нейрокомпыо-терных системы", читаемого в СибГТУ, качество усвоения материала. При выполнении итоговых и курсовых работ в соответствии с частной методикой, разработанной на основе общей технологии и ее формального описания, количество существенно некорректных вариантов использования нейросетевых инструментов заметно снизилось. Это позволило обобщить опыт преподавания данных дисциплин, что отражено в статьях международной конференции "Высшее техническое образование: проблемы и пути развития" (г. Минск, Белоруссия, 2004) и региональной конференции "Управление образовательным процессом в современном вузе" (КГПУ, г. Красноярск, 2004).

Апробация работы.

Основные положения работы обсуждались на международных, всероссийских и региональных конференциях, семинарах. В том числе: на Всероссийской конференции "Нейроинформатика" (2003, 2004, 2005) г. Москва (МИФИ); семинаре "Новые информационные технологии" (2003, 2004, 2005) г. Москва (МГИЭМ); Международной научной студенческой конференции "Студент и научно-технический прогресс" (2003, 2004, 2005, г. Новосибирск); Всероссийской конференции "Теоретические и прикладные вопросы современных информационных технологий" (2004, г. Удан-Удэ); международной конференции "Высшее техническое образование: проблемы и пути развития" (2004, г. Минск, Белоруссия); Всероссийском семинаре "Нейро-информатка и ее приложения" (2003, 2004, г. Красноярск); Всероссийском семинаре "Моделирование неравновесных систем" (2003, 2004, г. Красноярск); Всероссийской конференции "Решетневские чтения" (2003, 2004, г. Красноярск); Всероссийской конференции "Лесной и химический комплексы — проблемы и решения (экологические аспекты)" (2004, 2005, г. Красноярск), на рабочих семинарах в КГТУ и СибГТУ в 2004-2005 гг.

Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы и приложений. Общее число страниц 150, библиографический список - 171 источник.

Заключение диссертации по теме «Теоретические основы информатики», Решетникова, Наталья Владимировна

Выводы:

Схема выполненной технологической цепочки операций для задач классификации приведена на рисунке 5.1. Операции (создание и обучение сетей, тестирование, определение значимостей) и подгруппы операций (предобработка, упрощение сетей) представлены в виде прямоугольников, объединенных в соответствии с формальной моделью в группы операций (штрихпунктирные линии).

Этап "изменения классификационной модели" предполагает последовательность действий по модификации данных. Строго говоря, модификации могут быть различными в зависимости от решаемой задачи, данных и пользователя. Используемые при этом инструменты также определяет сам пользователь. В данном случае и для данной задачи применялись нейросетевые методы сетей без учителя (сети естественной классификации), с помощью которых удалось перейти от исходной оценочной классификации к более простой. В результате чего может быть создана новая классификационная модель.

Рисунок 5.1 - Схема применения технологии для задачи классификации

Цепочка выполненных операций представляет собой слово языка в формально-языковой модели, описывающей технологию использования нейронных сетей для данных задач. Слово может быть получено с помощью правил вывода контекстно-свободной грамматики описания данной технологии, которая также является частью предложенной модели.

Заключение

1. Разработана модель описания технологии использования нейронных сетей с учителем для прикладных исследований на основе формальных языков и грамматик, что позволяет определить варианты выполнения исследования. Предложен язык. Разработана программа - распознаватель слов соответствующего языка. Построены подмножества исходного языка, описывающие особенности технологии использования STATISTICA Neural Networks, NeuroGenesis и др.

2. Разработана грамматика описания нейросетевой технологии. Грамматика предназначена для вывода вариантов корректного порядка следования операций для решения прикладных задач. Определено, что грамматика принадлежит к типу контекстно-свободных. Описаны свойства исходной грамматики. Приведено несколько эквивалентных грамматик, полученных на основе исходной, использующей общепринятые алгоритмы преобразований к каноническому виду и нормальным формам Хомского и Грейбах.

3. Разработана общая модель технологии на основе диаграмм процессов группы IDEF. Предложены частные методики обработки данных и промежуточных результатов, полученных при использовании нейросетей. Использована схема применения технологии для задачи определения принадлежности слов английского языка к части речи и других задач.

4. Разработаны способы предобработки данных (в части изменения структуры и данных) для исследования динамики изменения параметров объектов во времени и развитии. Реализована программа предобработки данных "Jointer". Показано сходство и различие результатов, полученных на конкретных данных, для следующих модификаций прикладной задачи: статический случай (исходные данные без каких-либо преобразований структуры и данных), динамический случай (преобразование структуры и данных таким образом, чтобы выявить особенности определения зависимости между параметрами объекта, изменяющимися во времени).

Список литературы диссертационного исследования кандидат технических наук Решетникова, Наталья Владимировна, 2005 год

1. Айвазян, С. А. Прикладная статистика / С. А. Айвазян и др. М.: Финансы и статистика, 1989. 607 с.

2. Айвазян, С.А. Классификация многомерных наблюдений / С. А. Айвазян, 3. И. Бежаева, О. В. Староверов М.: Статистика, 1974. 240 с.

3. Алгоритмы и программы восстановления зависимостей / Под ред.

4. B. I I. Вапника. М.: Наука, 1984. 816 с.

5. Ахо, А. Теория синтаксического анализа, перевода и компиляции: Синтаксический анализ. Т. 1 / А. Ахо, Дж. Ульман. М.: Мир, 1978.487 с.

6. Бауэр, Ф. JI. Информатика. Вводный курс: В 2 ч. / Ф. JI. Бауэр, Г. Го-оз. М.: Мир, 1990.423 с.

7. Брой, М. Информатика. Теоретическая информатика, алгоритмы и структуры данных, логическое программирование, объектная ориентация / М. Брой. 4.4. М.: Диалог-МИФИ, 1998. 224 с.

8. Бутакова, Е. А. Разработка специализированного предобработчика данных / Е. А. Бутакова // Химико-лесной комплекс проблемы и решения: Сб. статей студентов и мол. ученых. Т. 2. Красноярск: СибГТУ, 2001.1. C. 243-245

9. Вапник, В. II. Восстановление зависимостей но эмпирическим данным / В. Н. Вапник. М.: Наука, 1979. 447 с.

10. Вендров, Л. М. CASE-технологии. Современные методы и средства проектирования информационных систем / А. М. Вендров. М.: Финансы и статистика, 1998. 176 с.

11. Гилев, С. Е. Нейроконструктор NDES / С. Е. Гилев // Нейроинфор-матика и ее приложения: Материалы XI Всероссийского семинара; ИВМ СО РАН. Красноярск, 2003. С. 40^1.

12. Гилев, С. Е. Обучение нейронных сетей: Методы, алгоритмы, тестовые испытания, примеры приложения: Дис. канд. физ.-мат. наук / С. Е. Гилев. Красноярск, 1997. 187с.

13. Гилев, С. Е. Обучение нейронных сетей / С. Е. Гилев, Е. М. Миркес // Эволюционное моделирование и кинетика. Новосибирск: Наука, 1992. С. 9-23.

14. Гмурман, В. Е. Теория вероятностей и математическая статистика / В. Е. Гмурман. М.: Высш. шк., 2003. 479 с.

15. Головенкин, С. Е. Прогнозирование некоторых осложнений и исхода инфаркта миокарда с использованием компьютерных нейронных сетей: Автореф. дисс. канд. мед. наук/С. Е. Головенкин. Красноярск, 1997. 24 с.

16. Горбань, А. Н. Обучение нейронных сетей / А. Н. Горбань. М.: СП "Paragraph", 1990. 160 с.

17. Горбань, А. Н. Логически прозрачные нейронные сети для производства знаний из данных / А. Н. Горбань, Е. М. Миркес; Вычислительный центр СО РАН в г.Красноярске. Красноярск, 1997. 12 с. Деп. в ВИНИТИ 17.07.97, №2434-В97.

18. Горбань, А. Н. Нейронные сети на персональных компьютерах / А. Н. Горбань, Д. А. Россиев. II.: Наука, 1996. 276 с.

19. Гордеев, Л. В. Системное программное обеспечение / Л. В. Гордеев, Л. Ю. Молчанов. СПб.: Питер, 2003. 736 с.

20. Гордиенко, П. В. Построение экономичных нейронных сетей: алгоритмы и их испытания / П. В. Гордиенко // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара. Красноярск: КГТУ, 1993. С. 31

21. Гордиенко, П. В. Стратегии контрастирования / П. В. Гордиенко // Нейроинформатика и ее приложения. Тезисы докладов 5 Всероссийского семинара. Красноярск: изд. КГТУ, 1997. С. 69.

22. Гравитационная хирургия крови // Под ред. O.K. Гаврилова; АМН СССР. М.: Медицина, 1984. 304 с.

23. Гросс, М. Теория формальных грамматик / М. Гросс, А. Лантен. М.: Мир, 1971.296 с.

24. Данилова, JI. А. Анализы крови и мочи / JI. А. Данилова. СПб.: ЗАО "Салит", 1999. 128 с.

25. Демидова, Н. В. Функциональные системы организма доноров гипериммунной плазмы / I I. В. Демидова. М.: Медицина, 1987. 160 с.

26. Дорогов, А. Ю. Быстрые нейронные сети / А. Ю. Дорогов. М.: Изд-во Санкт-Петербургского университета, 2002. 77 с.

27. Дорогов, А. Ю. Методы реконструкции регулярных многослойных нейронных сетей / А. Ю. Дорогов, Р. Г. Курбатов // Научная сессия МИФИ-2004: Сб. науч. тр. 4.2. М.: МИФИ, 2004. С. 30-38.

28. Дуда, Р. Распознавание образов и анализ сцен / Р. Дуда, П. Харт. М.: Мир, 1976.512 с.

29. Ежов, А. А. Нейрокомпыотинг и его применения в экономике и бизнесе / А. А. Ежов, С. А. Шумский. М.: МИФИ, 1998. 224 с.

30. Жуков, JI. А. Использование нейросетевых технологий для проведения учебно-исследовательских работ / Л. А. Жуков // Методы нейроин-форматики. Красноярск: Изд-во КГТУ, 1998. С. 164-175.

31. Жуков, Л. А. Контрастирование и определение значимости в нейронных сетях / Л. А. Жуков // Тез. докл. межвузовской научной конференции. Красноярск: КГТУ, 1999. С. 88-91.

32. Жуков, Л. А. Нейросетевые технологии для проведения студенческих исследовательских работ / Л. А. Жуков // Нейроинформатика: Всеросс. конференция. М.: МИФИ, 1999. С. 245-252.

33. Жуков, Л. А. Предобработчнк баз данных PREDMAKE / Л. А. Жуков // Материалы региональной студ.науч. конференции по программированию и новым информационным технологиям. Улан-Уде: ВСГТУ, 1998. С. 47-48.

34. А. с. 2003612163 РФ. Программа для ЭВМ "Предобработчнк данных PredMake" / Л. А. Жуков (РФ). № 2003612163; Опубл. 16.09.03.

35. А. с. 2003612163 РФ. Программа для ЭВМ "Нейроимитатор Monoton" / Л. А. Жуков (РФ).

36. А. с. 2004611089 РФ. Программа для ЭВМ "Нейроимитатор для работы с нейронными сетями без учителя модифицированным методом динамических ядер (MDN)" / Л. А. Жуков. № 2004611089; Опубл. 13.07.2004.

37. Жуков, Л. А. Технология классификации с помощью нейронных сетей без учителя / Л. А. Жуков // Теоретические и прикладные вопросы современных информационных технологий. Материалы всеросс.конф. Улан-Уде: ВСГТУ, 2001. С. 40-47.

38. Жуков, JI. Л. Технология нейросетевого решения прикладных классификационных задач для использования в экологии, биологии и медицине / Л. Л. Жуков; КГТУ. Красноярск, 2004. 148 с. Деп. в ВИНИТИ 13.05.2004, № 800-В2004.

39. Жуков, Л. А. Технология нейросетевого решения прикладных классификационных задач в экологии, биологии и медицине: Дис. канд. техн. наук / Л. А. Жуков. Красноярск, 2000. 187 с.

40. Жуков, Л. А. Технология нейросетевой классификации медицинских и экологических данных / Л. А. Жуков // Актуальные вопросы охраны здоровья населения: Сб. науч. тр. Красноярск: КГМА, 2000. С. 65-68.

41. Жуков, Л. А. Утилита предобработки баз данных для подготовки их к дальнейшему использованию нейроимитаторами / Л. А. Жуков // Нейроин-форматика и ее приложения: 6 Всероссийский семинар. Красноярск, 1998. С. 70.

42. Проект разработки нейросетевой системы для обработки онкологических данных / Сост. Л. А. Жуков, А. А. Капошилова, Д. В. Юленкова и др.; КГТУ. Красноярск, 2004. 108 с. Деп. в ВИНИТИ 22.06.2004, № 1049-В2004.

43. А. с. 2004620209 РФ. База данных "Анализы крови доноров и результаты нейросетевой обработки" / Л. А. Жуков, В. А. Петровская, Н. В. Решетникова (РФ). № 2004620209; Опубл. 24.08.2004.

44. Применение нейронных сетей для решения медицинских задач в условиях Сибири / Л. А. Жуков, Т. В. Петровская, В. А. Петровская, Н.В.Решетникова; КГТУ. Красноярск, 2003. 15 с. Деп. в ВИНИТИ 08.12.2003, №2132-В2003.

45. Жуков, JI. Л. Обсуждение эпистемиологических особенностей применения нейроинформатики к обработке медицинских данных /Л. А. Жуков, Н. В. Решетникова; КГТУ. Красноярск, 2003. 7 с. Деп. в ВИНИТИ 08.12.03, № 2128-В2003.

46. Жуков, JL А. Особенности преподавания нейросетевых технологий в технических вузах / JI. А. Жуков, Н. В. Решетникова // Высшее техническое образование: проблемы и пути развития: Материалы междунар. науч.-метод. конф. Мн.: БГУИР, 2004. С. 176-177.

47. А. с. 2005610335 РФ. Программа для ЭВМ "Распознаватель слов формальной грамматики описания нейросетевой технологии обработки данных для прикладных исследований" / JT. А. Жуков, И. В. Моисеев, I I. В. Решетникова (РФ). № 2005610335; Опубл. 24.02.2005.

48. Жуков, Л. А. Формализация технологии применения нейронных сетей с учителем и особенности их использования для решения прикладных задач / Л. А. Жуков, II. В. Решетникова. Красноярск: ИПЦ КГТУ, 2005. 168 с.

49. Заблоцкнй, С. Г. Адаптивное управление экстремальным объектом в условиях непараметрической неопределенности / С. Г. Заблоцкий // Решетневскис чтения: материалы VIII Всерос. науч. конф. с междунар. участием. Красноярск: СибГАУ, 2004. С. 178-180.

50. Игнатова, В. В. Педагогические факторы духовно-творческого становления личности в образовательном процессе / В. В. Игнатова. Красноярск: СибГТУ, 2000. 272 с.

51. Калянов, Г. Н. CASE: структурный системный анализ (автоматизация и применение)/Г. Н. Калянов. М.: Лори, 1996.

52. Каминский, Л. С. Статистическая обработка лабораторных и клинических данных/Л. С. Каминский. Л., 1964.

53. Клиническая иммунология: Руководство для практических врачей и врачей-интернов. Красноярск, 1998. 87 с.

54. Комаровских, Е. Н. Новые медицинские технологии ранней диагностики первичной глаукомы / Е. Н. Комаровских // Моделирование неравновесных систем // Материалы VII Всероссийского семинара; ИВМ СО РАН. Красноярск, 2004. С. 85-86.

55. Компьютерная биометрика / Под ред. В. Н. Носова. М.: МГУ, 1990.232 с.

56. Константинов, В. Н. Белковосинтетическая функция печени и факторы неспецифического иммунитета при плазмаферезе у доноров: Автореф. дис. канд. мед. наук/В. Н. Константинов. Актюбинск, 1971. 20 с.

57. Коченов, Д. А. Синтез управляющих воздействий / Д. А. Коченов, Е. М. Миркес // Нейроинформатика и ее приложения. Тезисы докладов 3 Всероссийского семинара. Красноярск: изд. КГТУ, 1995. С. 31.

58. Крачтен, Ф. Введение в Rational Unified Process / Ф. Крачтен. М.: Издательский дом "Вильяме", 2002. 240 с.

59. Куссуль, Е. М. Ассоциативные нейроподобные структуры / Е. М. Куссуль. Киев: Наук, думка, 1992. 140 с.

60. Ланкин, 10. П. Самоадаптирующиеся нейрошше сети: Препринт. Красноярск, 1997.21 с.

61. Лыоис, Ф. Теоретические основы проектирования компиляторов / Ф. Лыоис, Д. Розенкранц, Р. Стирнз. М.: Мир, 1979. 654 с.

62. Маклаков, С. В. BPWin и ERWin. CASE-средства разработки информационных систем / С. В. Маклаков. М.: Диалог-МИФИ, 2000. 256 с,

63. Марка, Д. А. Методология структурного анализа и проектирования / Д. А. Марка, К. МакГоуэн. М.:МетаТехнология, 1993. 224 с.

64. Мартыненко, Б. К. Языки и трансляции: Учеб. пособие / Б. К. Мар-тыненко. СПб.: Изд-во Санкт-Петербургского университета, 2003. 235 с.

65. Миркес, Е. М. Нейрокомпьютер. Проект стандарта / Е. М. Миркес. Новосибирск: Наука, 1999. 337 с.

66. Миркес, Е. М. Функциональные модели универсального нейрокомпьютера: Дисс. д-р техн. наук / Е. М. Миркес. Красноярск, 2001. 416 с.

67. Научная сессия МИФИ-2004. VI Всероссийская научно-техническая конференция "Нейроинформатика-2004": Сборник научных трудов. В 2-х частях. 4.1, 2. М.: МИФИ, 2004. 268 с.

68. Нейроинформатика / Сост. А. Н. Горбань, В. Л. Дунин-Барковский, А. I I. Кирдин и др. Новосибирск: Наука. Сибирское предприятие РАН, 1998. 296 с.

69. Нейроинформатика и ее приложения: Материалы V Всероссийского семинара / Под ред. А. I I. Горбаня, Е. М. Миркеса; ИВМ СО РАН. Красноярск, 1997.210 с.

70. Нейроинформатика и ее приложения: Материалы XI Всероссийского семинара / Под ред. А. Н. Горбаня, Е. М. Миркеса; ИВМ СО РАН. Красноярск, 2003.215 с.

71. Нейроинформатика и ее приложения: Материалы XII Всероссийского семинара / Под ред. Л. II. Горбаня, Е. М. Миркеса; ИВМ СО РАН. Красноярск, 2004. 196 с.

72. Новые информационные технологии: материалы седьмого научно-практического семинара; Моск. гос. ин-т электроники и математики. М., 2004. 180 с.

73. Новые информационные технологии: материалы шестого научно-практического семинара; Моск. гос. ин-т электроники и математики. М., 2003. 180 с.

74. Пентус, А. Е. Теория формальных языков: Учебное пособие / А. Е. Пентус, М. Р. Пентус. М.: Изд-во ЦПИ МГУ, 2004. 80 с.

75. Питенко, А. А. Использование нейросетевых технологий при решении аналитических задач в ГИС / А. А. Питенко // Методы нейроинформати-ки. Красноярск: КГТУ, 1998. С. 152-163.

76. Питенко, А. А. Нейросети для геоинформационных систем / А. А. Питенко // Всероссийская конференция "Нейроинформатика-99": Сб. науч. тр. В 3 частях. Ч.З. М.: МИФИ, 1999. С. 65-68.

77. Питенко, А. А. Электронный экологический атлас города Красноярска/А. А. Питенко, 10. Д. Иванова. Красноярск: ИВМ СО РАН, 1998. 16с.

78. Приказ Минздрава РФ от 23 сентября 2002 г. N 295 "Об утверждении "Инструкции по проведению донорского прерывистого плазмафереза".

79. Проблемы построения и обучения нейронных сетей / Сост.

80. A. И. Галушкин, В. А. Шахнов. // Библиотечка журнала Информационные технологии. М.: Машиностроение. 1999. № 1. 105 с.

81. Пугачева, К. В. Непараметрическое адаптивное управление статическим объектом / К. В. Пугачева // Решетневские чтения: материалы VIII Всерос. науч. конф. с междунар. участием. Красноярск: СибГАУ, 2004. С. 228-229.

82. Рейуорд-Смит, В. Дж. Теория формальных языков. Вводный курс /

83. B. Дж. Рейуорд-Смит. М.: Радио и связь, 1988. 128 с.

84. Решетникова, Н. В. Изучение комбинирования процедур упрощения нейронных сетей на примере иммунного плазмафереза / I I. В. Решетникова, JI. А. Жуков // Вестник Томского гос. ун-та. Вып. 9 (II). Томск, 2004.1. C. 61-65.

85. Решетникова, Н. В. Изучение упрощения нейросетей но медицинским данным / Н. В. Решетникова, JI. А. Жуков // Новые информационные технологии: Материалы седьмого семинара. М.: МГИЭМ, 2004. С. 12-17.

86. Решетникова, Н. В. Оценка влияния плазмафереза на параметры крови с помощью методов статистики и нейросетей / II. В. Решетникова, Л. А.Жуков; КГТУ. Красноярск, 2003. 33 с. Деп. в ВИНИТИ 29.09.2003, № 1737-В2003.

87. Решетникова, Н. В. Анализ влияния параметров крови на общее количество лейкоцитов с помощью нейросетей / I I. В. Решетникова, В. А. Петровская, Л. А. Жуков // 3 Всесибирский конгресс женщин математиков. Красноярск: КГУ, 2004. С. 100-101.

88. Решетникова, Н. В. Изучение влияния различных профессий алюминиевого производства с помощью нейросетей / Н. В. Решетникова, В. А. Петровская, Л. А. Жуков // 3 Всесибирский конгресс женщин математиков. Красноярск: КГУ, 2004. С. 102-103.

89. Решетникова, Н. В. Изучение значимостей параметров крови при иммунизации с помощью нейросетей / Н. В. Решетникова, В. Л. Петровская, JI. Л. Жуков // Новые информационные технологии: Материалы седьмого семинара. М.: МГИЭМ, 2004. С. 18-21.

90. Анализ влияния условий труда на параметры крови с помощью нейросетей / Н. В. Решетникова, В. Л. Петровская, Е. М. Товбис, J1. Л. Жуков // Актуальные вопросы здравоохранения и медицинской науки: Сб. науч. тр. Вып. III. Красноярск, 2003. С. 194-204.

91. Оценка влияния условий труда на параметры крови с помощью нейросетей / Сост. Н. В. Решетникова, В. А. Петровская, Е. М. Товбис и др. // Материалы шестого семинара "Новые информационные технологии". М.: МГИЭМ, 2003. С. 8-15.

92. Решетникова, Н. В. Изучение влияния плазмафереза на параметры крови с помощью статистики и нейросетей / Н. В. Решетникова // Информатика и информационные технологии: Межвузовский сб. науч. тр. Красноярск: КГТУ, 2003. С. 208-213.

93. Решетникова, I I. В. Особенности бинаризации нейросетей для задачи влияния плазмафереза на параметры крови / Н. В. Решетникова // Ре-шетневские чтения: Тез. докл. VII Всерос. науч. конф. Красноярск: СибГАУ, 2003. С. 222-223.

94. Россиев, A. A. FAMaster / А. А. Россиев // Нейроинформатика и ее приложения: Тезисы докладов 6 Всеросс. семинара, Красноярск: Изд-во КГТУ, 1998. С. 155.

95. Россиев, Д. А. Медицинская нейроинформатика / Д. А. Россиев // Нейроинформатика. Новосибирск: Наука, 1998. С. 137-211.

96. Россиев, Д. Л. Самообучающиеся нейросетевые экспертные системы в медицине: теория, методология, инструментарий внедрение: Дис. докт. мед. наук / Д. Л. Россиев. Красноярск, 1995. 379 с.

97. Определение информативности медицинских параметров с помощью нейронной сети / Сост. Д. Л. Россиев, С. Е. Головенкин, Б. В. Назаров и др. // Диагностика, информатика и метрология 94: Тез. научно-технической конференции. СПб., 1994. С. 348.

98. Применение нейросетей для изучения и диагностики иммуноде-фицитных состояний / Д. А. Россиев, А. А. Савченко, С. Е. Гилев, Д. А. Коченов // Нейроинформатика и нейрокомпьютеры: Тезисы докладов рабочего семинара. Красноярск: КГТУ, 1993. С. 32.

99. Рубцов, Д. В. Разработка технологии применения искусственных нейронных сетей в прикладных информационных системах: Автореф. канд. техн. наук / Д. В. Рубцов. Барнаул, 2000.

100. Рубцов, С. В. Опыт использования стандарта IDEF0 / С. В. Рубцов //Открытые системы. Вып. 1. М., 2003. С. 53-56.

101. Сахаров, П. Rational Rose, BPvvin и другие — аспект анализа бизнес-процессов / П. Сахаров // Директор ИС. Вып. 11. М., 2000.

102. Терехов, С. А. Вводные лекции по теории и приложениям искусственных нейронных сетей (рукопись). Красноярск, 2000. 69 с.

103. Терехов, С. А. Нейросетевые информационные модели сложных инженерных систем / С. А. Терехов // Нейроинформатика. Новосибирск: Наука, Сибирская издательская фирма РАН, 1998. С. 101-136.

104. Товбис, Е. М. Обзор медицинских приложений по материалам вашингтонской конференции IJCNN / Е. М. Товбис, Л. А. Жуков // Информатика и информационные технологии: Тез. докл. межвузовской научной конференции. Красноярск: КГТУ, 2001. С. 159-161.

105. Трофимов, С. CASE-технологии: Практическая работа в Rational Rose / С. Трофимов. М.: Бином-Пресс, 2002. 288 с.

106. Тюрин, 10. П. Статистический анализ данных на компьютере / Ю. И. Тюрин, А. А. Макаров. М.:ИНФРА, 1998. 528 с.

107. Уоссермен, Ф. Нейрокомпыотерная техника: Теория и практика / Ф. Уоссермен. М.: Мир, 1992. 237с.

108. Фор, А. Восприятие и распознавание образов / А. Фор. М.: Машиностроение, 1989.272 с.

109. Харрингтон, Дж. J1. Проектирование реляционных БД / Дж. JI. Харрингтон. М.:ЛОРИ, 2000. 230 с.

110. Хехт-Нильсен, Р. Нейрокомпыотинг: история, состояние, перспективы / Р. Хехт-Нильсен // Открытые системы. 1998. № 4.

111. Химмельблау, Д. Прикладное нелинейное программирование / Д. Химмельблау. М.: Мир, 1975. 534 с.

112. Хомич, А. В. Метод эволюционной оптимизации и его приложение к задаче синтеза искусственных нейронных сетей / А. В. Хомич, Л. А. Жуков // Нейрокомпьютеры: разработка, применение. М., 2004. № 12. С. 315.

113. Хопкрофт, Дж. Введение в теорию автоматов, языков и вычислений / Дж. Хопкрофт, Р. Мотвани, Дж. Ульман. М.: Издательский дом «Вильяме», 2002. 528 с.

114. Царегородцев, В. Г. Взгляд на архитектуру и требования к ней-роимитатору для решения современных индустриальных задач / В. Г. Царегородцев // Научная сессия МИФИ-2004: Сб. науч. тр. 4.2. М.: МИФИ, 2004. С. 160-167.

115. Царегородцев, В. Г. Извлечение знаний из таблиц данных при помощи обучаемых и упрощаемых искусственных нейронных сетей: Дис. канд. техн. наук / В. Г. Царегородцев. Красноярск, 2000. 196 с.

116. Царсгородцев, В. Г. К определению информативности независимых переменных для нейронной сети / В. Г. Царсгородцев // Материалы XI Всероссийского семинара "Нейроинформатика и ее приложения". Красноярск, 2003. С. 176-177.

117. Царегородцев, В. Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей / В. Г. Царегородцев // Методы нейроинформатики. Красноярск: Издательство КГТУ, 1998. С. 176-197.

118. Царегородцев, В. Г. Редукция размеров нейросети не приводит к повышению обобщающих способностей / В. Г. Царегородцев // Нейроинформатика и ее приложения: Материалы XII Всероссийского семинара; ИВМ СО РАН. Красноярск, 2004. С. 163-165.

119. Царегородцев, В. Г. Упрощение нейронных сетей: цели, идеи, методы / В. Г. Царегородцев // Нейрокомпьютеры: разработка, применение. Вып. 4. М., 2002. С. 5-13.

120. Четвериков, В. Н. Базы и банки данных: Учебник для вузов / В. Н. Четвериков, Г. И. Ревунков, Э. Н. Самохвалов. М.: Высшая школа, 1987. 248 с.

121. Шаров, К. С. Идентификация моделей непрерывных технологических процессов с применением нейросетевых структур / К. С. Шаров, М. Ю. Шестопалов // Научная сессия МИФИ-2003: Сб. науч. тр. 4.1. М.: МИФИ, 2003. С. 151-156.

122. Шеер, А. В. Моделирование бизнес-процессов / А. В. Шеер. М.: ООО "Изд-во "Серебряные нити", 2000. 207 с.

123. Шумков, Е. А. Система поддержки принятия решений предприятия на основе нейросетевых технологий: Автореф. дис. канд. техн. наук / Е. А. Шумков. Краснодар, 2004. 23 с.

124. Юрасов, В. Л. Идентификация параметров моделей бизнес-процессов на основе функционирования АСУ: Автореф. дис. канд. техн. наук / В. А. Юрасов. Красноярск, 2004. 21 с.

125. Якобсон, А. Унифицированный процесс разработки программного обеспечения / А. Якобсон, Г. Буч, Дж. Рамбо. Спб.: Питер, 2002. 496 с.

126. Atencia М. A., Joya G., Sandoval F. A formal model for definition and simulation of generic neural networks // Neural Processing Letters, Kluwer Academic Publishers, vol. 11, 2000, pp. 87-105

127. Fiesler E., Caulfield H.J. Neural network formalization // Computer Standards and Interfaces, 1994 vol. 16(3), pp. 231-239

128. Gordienko P. Construction of efficient neural networks // Advances in Modelling & Analysis, A, AMSE Press, 1995, V. 24, N 4. P.51-59

129. Gordienko P. Construction of efficient neural networks: Algorithms and tests // Proceedings International joint Conference on Neural Networks IJCNN'93, Nagoya, Japan, 1993. P.313-316

130. Grau M.A., Molinero H.L. A fast method for rule extraction in neural networks // Proc. IEEE World Congress on Computational Intelligence, Ancorage, 1998: WCCI'98 Ancorage 1998, P.2334-2339157. http://www.neurok.ru

131. Molnar В., Szentirmay Z., Bodo M. et al. Application of multivariate, fuzzy set and neural network analysis in quantitative cytological examinations // Anal. Cell Pathol. 1993. V.5, N.3. P.161-175.

132. Pol De A., Thimm G., Fiesler E. Sparse initial topologies for high order perceptrons // Proc. of the Int. Conf. on Neural Networks. Washington, DC. June 2-6. 1996: ICNN-96. P.84-89

133. Proc. IEEE World Congress on Computational Intelligence, Ancorage, 1998.: WCCI'98 Ancorage 1998

134. Neural Network Markup Language Home Page, www.nnml.alt.ru

135. The Data Mining Group, PMML 1.1 Neural Network www.dmg.org/html/neuralnetwork.html

136. G. Kock and N.B. Serbedzija, "Simulation of Artificial Neural Networks", Systems Analysis Modelling - Simulation (SAMS), vol. 27(1), 1996, pp. 15-59.

137. R.R. Leighton, The Aspirin/MIGRANES neural network software. Users manual, MITRE Corp., 1992

138. A. Strey, "EpsiloNN A Tool for the Abstract Specification and Parallel Simulation of Neural Networks ", Systems Analysis - Modelling - Simulation (SAMS), Gordon&Breach, vol.34, n.4, 1999

139. G. Kock and N.B. Serbedzija, "Artificial neural networks: from compact descriptions to С++", In M. Marinaro and P.G. Morasso, editors, Proc. of the International Conference on Artificial Neural Networks, Springer-Verlag, 1994, pp. 1372-1375

140. G. Dorffner, H. Wiklicky, and E. Prem, Formal neural network specification and its implications on standardization, Technical Report OFAI TR-93-24, Austrian Research Institute for Artificial Intelligence, 1993

141. E. Fiesler and H.J. Caulfield, "Neural network formalization", Computer Standards and Interfaces, 1994 vol. 16(3), pp. 231-239

142. M. A. Atencia, G. Joya and F. Sandoval, "A formal model for definition and simulation of generic neural networks", Neural Processing Letters, Klu-wer Academic Publishers, vol. 11, 2000, pp. 87-105