Разработка методологии и программного комплекса для определения существенности входных признаков при нейросетевом анализе данных тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Гужва, Александр Георгиевич

• Гужва, Александр Георгиевич
• кандидат физико-математических наук
• 2011

Оглавление диссертации кандидат физико-математических наук Гужва, Александр Георгиевич

Введение.

Актуальность темы.

Цель работы. Основные задачи.

Основные положения, выносимые на защиту.

Научная новизна.

Практическая значимость.

Апробация работы.

Публикации.

Краткое содержание диссертационной работы.

1 Обзор литературы.

1.1 Терминология.

1.2 Понятие размерности данных.

1.3 Проблема понижения размерности данных.

1.3.1 Описание проблемы понижения размерности данных.

1.3.2 Проблемы, с которыми помогает бороться понижение размерности.

1.3.2.1 Проблема «проклятия размерности.

1.3.2.2 Проблема интерпретации исходных данных.

1.3.2.3 Проблема получения исходных данных.

1.3.3 Подходы к рассмотрению проблемы понижения размерности данных.

1.3.4 Некоторые эмпирические рекомендации при проведении понижения размерности данных.

1.3.5 Понижение размерности данных применительно к задачам, отличным от задач регрессии.

1.3.6 Понижение размерности данных применительно к другим классам адаптивных алгоритмов.

1.3.7 Ряд актуальных проблем из области понижения размерности.

1.3.8 Некоторые сопутствующие алгоритмы.

1.4 Искусственные Нейронные Сети (ИНС).

1.4.1 Модель нейрона.

1.4.2 Многослойный персептрон.

1.4.2.1 Задача нелинейной регрессии.

1.4.2.2 Проблемы построения нейросетевой модели.

1.5 Методы анализа существенности входных признаков. Используемые алгоритмы

1.5.1 Понятие существенности входных признаков.

1.5.2 Алгоритмы оценки.

1.5.2.1 Корреляционный анализ.

1.5.2.2 Кросс-энтропийный анализ.

1.5.2.3 Семейство алгоритмов «Анализ Весов Нейронной Сети».

1.5.2.4 Линейная регрессия.

1.5.2.5 Нейронные Сети с Общей Регрессией.

1.5.3 Алгоритмы отбора.

1.5.3.1 Алгоритм последовательного добавления признаков.

1.5.3.2 Алгоритм последовательного исключения признаков.

1.5.3.3 Алгоритм отсечения по порогу.

1.5.3.4 Алгоритм использования случайно сгенерированных признаков.

1.5.3.5 Алгоритм множественных запусков.

1.5.3.6 Алгоритм заданного числа наилучших признаков.

1.5.4 Комбинированные алгоритмы.

1.5.4.1 Метод Группового Учета Аргументов (МГУА).

1.5.4.2 Генетическое программирование.

1.5.5 О сравнении методов АСВП.

2 Модельные и эталонные задачи.

2.1 Тривиальные модельные задачи.

2.1.1 Цель исследования.

2.1.2 Постановка задачи и предобработка данных.

2.1.3 Полученные качественные выводы.

2.1.4 Выводы.

2.2 Задача Фридмана.

2.2.1 Цель исследования.

2.2.2 Предобработка данных.

2.2.3 Рассматриваемые методы АСВП и алгоритмы. Их особенности.

2.2.4 Полученные результаты.

2.3 Эталонные задачи: небольшие наборы данных.

2.3.1 Цель исследования.

2.3.2 Предобработка данных.

2.3.3 Полученные результаты.

2.3.4 Выводы.

2.4 Эталонные задачи: большие наборы данных.

2.4.1 Полученные результаты.

2.5 Положения, выносимые на защиту.'.

3 Методика построения ИЫС.

3.1 Постановка задачи отбора наиболее существенных признаков.

3.1.1 Формальное описание методики.

3.2 Разработанная методика. Представление методики в виде блок-схемы.

3.2.1 Преимущества использования методики.

3.2.1.1 Оценки временных и вычислительных выигрышей.

3.2.2 Критерии для включения новых методов АСВП в методику.

3.2.3 Совместное использование корреляционного анализа и кросс-энтропийного анализа

3.2.4 Специальный случай применения методики анализа существенности для 4-х ступенчатого алгоритма анализа многомерных временных рядов.

3.3 Алгоритм параллельного обучения МСП с одним скрытым слоем.

3.3.1 Описание алгоритма.

3.3.2 Особенности реализации алгоритма с помощью технологии CUDA.

3.3.3 Полученные результаты.

3.4 Выводы.

3.4.1 Положения, выносимые на защиту.

4 Применение разработанной методики для решения прикладных задач.

4.1 Задача прогнозирования геомагнитного Dst-индекса.

4.1.1 Физическая постановка задачи.

4.1.2 Математическая постановка задачи.

4.1.3 Предобработка данных.

4.1.4 Полученные результаты.

4.1.5 Сравнение полученных результатов с результатами других авторов.

4.1.6 Положения, выносимые на защиту.

4.2 Задача восстановления распределения электропроводности участка земной коры

4.2.1 Математическая постановка задачи.

4.2.2 Алгоритмические особенности метода.

4.2.3 Схема построения нейросетевой модели.

4.2.4 Предобработка данных.

4.2.5 Полученные результаты.

4.2.5.1 Результаты решения задачи для модели «5.0».

4.2.5.2 Результаты решения задачи для других моделей.

4.2.6 Выводы.

4.2.7 Положения, выносимые на защиту.

4.3 Оценка токсичности химических веществ применительно к бактериям Т. Pyriformis.

4.3.1 Постановка задачи.

4.3.2 Предобработка данных.

4.3.3 Полученные результаты.

4.3.4 Выводы.

5 Программный комплекс.

5.1 Выводы. Положения, выносимые на защиту.

Введение диссертации (часть автореферата) на тему «Разработка методологии и программного комплекса для определения существенности входных признаков при нейросетевом анализе данных»

Актуальность темы

Современные задачи комплексного исследования различных научно-технических проблем могут оперировать многомерными наборами данных большого объема, включающими множественные измерения большого1 количества различных характеристик (входных признаков) исследуемого объекта. В случаях невозможности построения адекватной содержательной модели объекта традиционными методами, в качестве математической модели могут применяться искусственные нейронные сети (ИНС); соответствующие математические модели называются нейросетевыми моделями. ИНС также применяются для решения некорректно поставленных задач.

К достоинствам ИНС относятся: возможность обучаться на примерах, устойчивость к шумам, возможность работы с неполными и противоречивыми данными, параллельность архитектуры. Поэтому ИНС часто привлекаются для решения плохо формализуемых задач.

При решении практических задач, в рамках которых проводится построение нейросетевых моделей, необходимо учитывать ряд ограничений, особенно существенных при работе с наборами данных, содержащих большое число входных признаков:

1. Проблема интерпретации входных признаков состоит в усложнении определения вклада различных входных признаков в построенную нейросетевую модель при повышении числа рассматриваемых признаков.

2. Проблема снижения качества нейросетевой модели заключается в ухудшении качества получаемой нейросетевой модели при увеличении числа рассматриваемых входных признаков.

3. Проблема множественных запусков алгоритма обучения связана с ситуациями попадания в локальный минимум итерационной процедуры построения нейросетевой модели. Важность этой проблемы возрастает с увеличением числа имеющихся входных признаков.

1 Большого - не только в смысле большого числа, но и в смысле, что реально определять поведение объекта может лишь небольшое количество измеряемых величин из полного множества измеряемых.

Указанные трудности возможно преодолеть путем сокращения числа входных признаков с помощью выявления наиболее существенных входных признаков и последующего исключения малосущественных.

Таким образом, определение наиболее существенных входных признаков представляет собой весьма актуальную самостоятельную проблему.

Цель работы. Основные задачи

Целью диссертационной работы являлась разработка новой методики построения ИНС (многослойных персептронов) для решения задач нелинейной регрессии, понимаемых в смысле моделирования поведения некоторой неизвестной зависимости, на основе отбора существенных входных признаков. Круг рассматриваемых задач ограничен задачами нелинейной регрессии для многомерных зависимостей одной скалярной действительной величины. Методика применяется для решения плохо формализуемых задач, в т.ч. в случае невозможности их решения традиционными методами.

Под- методами анализа существенности входных признаков {методы АСВГГ) будут пониматься различные алгоритмы, которые можно использовать для выявления существенных входных признаков. Методы различаются степенью линейности, эффективностью в смысле достигаемого результата, временными затратами (вычислительной стоимостью) и т.д. Для исследователя всегда стоит вопрос о том, какой из имеющихся в его распоряжении методов АСВП должен быть использован. Этот выбор часто делается весьма субъективно, на основании предыдущего опыта работы с известными исследователю методами АСВП.

Методика объединяет отдельные методы АСВП для того, чтобы за счёт их совместного использования компенсировать недостатки отдельных методов и усилить их достоинства. В результате применения методики строится нейросетевая модель, решающая задачу регрессии с использованием наиболее существенных входных признаков, выявляемых с помощью комбинации методов АСВП.

Необходимо отметить, что большой интерес представляла именно возможность совместного использования отдельных методов.

Методика применяется для достижения следующих целей:

1. Повышение точности решения задачи регрессии с использованием нейронных сетей.

2. Сокращение числа используемых входных признаков в рассматриваемом наборе данных.

Для достижения цели ставились следующие основные задачи:

1. Построить методику в виде алгоритма, содержащего порядок использования и условия применимости тех или иных методов АСВП. a. Исследовать возможность и целесообразность включения в методику различных известных методов АСВП. b. Сформулировать критерии для включения новых методов АСВП в методику.

2. Всесторонне исследовать построенную методику, применяя её для решения модельных задач и ряда прикладных задач, в том числе эталонных задач, опубликованных в Интернете и обычно используемых для тестирования новых методов анализа данных.

3. Создать программное обеспечение, реализующее все необходимые алгоритмы и методы.

В работе не ставилась цель сбора всевозможных методов АСВП. Также, задача всестороннего исследования методов АСВП не являлась основной.

Основные положения, выносимые на защиту

1. Разработанная методика построения ИНС (многослойных персептронов) для решения задач нелинейной регрессии на основе отбора существенных входных признаков, представленная в виде алгоритма.

2. Результаты решения 5 модельных задач, 40 эталонных задач, а также 3 прикладных задач с использованием разработанной методики.

3. Разработанный оригинальный алгоритм параллельного обучения большого числа многослойных персептронов с одним скрытым слоем. Алгоритм был реализован с использованием технологии CUD А.

4. Созданный единый программный комплекс, реализующий все использованные при разработке методики методы АСВП, с возможностью производить вычисления на нескольких компьютерах в локальной сети под управлением ОС MS Windows с управлением вычислениями из единого центра.

Научная новизна

1. Разработанная методика построения ИНС для решения задач нелинейной регрессии на основе отбора существенных входных признаков является оригинальной и представляет собой усовершенствование традиционного метода построения нейронных сетей (многослойных персептронов) для решения задач нелинейной регрессии.

2. Проведена апробация разработанной методики на основе большого числа эталонных наборов данных. Получены количественные оценки эффективности применения разработанной методики для различных типов задач.

3. Разработанный и реализованный алгоритм параллельного обучения персептронов с одним скрытым слоем, показывающий существенное ускорение для графических процессоров компании NVIDIA по сравнению с реализациями алгоритма обучения методом обратного распространения ошибки для современных центральных процессоров, является оригинальным.

4. Получено решение следующих прикладных задач (задач реального мира) с использованием разработанной методики: a. Задача прогнозирования значения геомагнитного Dst-индекса на основании значений параметров солнечного ветра. b. Задача нелинейной регрессии из области электроразведки (магнитотеллурики) по восстановлению распределения электропроводности участка земной коры на основании измеренных на поверхности земли характеристик ЭМ полей (компонент тензора импеданса). c. Задача оценки токсичности химических соединений на основе дескрипторов молекул этих соединений.

Практическая значимость

1. Предложенная методика построения ИНС может быть использована при решении широкого круга задач нелинейной регрессии и прогнозирования. Применение разработанной методики позволяет в среднем снизить погрешность решения, а также сделать выводы о существенности различных входных признаков при построении модели.

2. Разработанный оригинальный алгоритм параллельного обучения персептронов с одним скрытым слоем, а также реализация алгоритма, использующая технологию CUD А, могут быть с высокой вычислительной эффективностью использованы для

10 построения нейросетевых моделей. Разработанный алгоритм открывает перспективы для решения более масштабных задач на персональных компьютерах за меньшее время.

3. Разработанный в ходе выполнения диссертационной работы программный комплекс внедрен в Российском государственном геологоразведочном университете для проведения расчётов и обучения студентов. Решения прикладных задач, полученные при разработке методики, а также информация о выделенных наборах существенных признаках, могут быть использованы в соответствующих предметных областях.

Апробация работы

Результаты, полученные в настоящей диссертационной работе, представлены в устных и стендовых докладах на 8 Всероссийских и международных конференциях:

1. VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006», г. Москва, МИФИ, 24-27 января 2006 г. Устный доклад.

2. IX Всероссийская научно-техническая конференция «Нейроинформатика-2007», г. Москва, МИФИ, 23-26 января 2007 г. Устный доклад.

3. 8-я Международная конференция "Распознавание образов и анализ изображений: новые информационные технологии" (РОАИ-8-2007), г. Йошкар-Ола, 8-12 октября 2007 г.

4. X Всероссийская научно-техническая конференция «Нейроинформатика-2008», г. Москва, МИФИ, 22-25 января 2008 г. Устный доклад.

5. 9-я Международная конференция " Распознавание образов и анализ изображений: новые информационные технологии " (РОАИ-9-2008), г. Нижний Новгород, 14-20 сентября 2008 г.

6. XI Всероссийская научно-техническая конференция «Нейроинформатика-2009», г. Москва, МИФИ, 27-30 января 2009 г. Устный доклад.

7. 19th International Conference on Artificial Neural Networks (ICANN-2009), 14-17 September, Limassol, Cyprus. Устный доклад.

8. XII Всероссийская научно-техническая конференция «Нейроинформатика-2010», г. Москва, МИФИ, 25-29 января 2010 г. Устный доклад.

Публикации

Основные результаты диссертационной работы опубликованы в 15 статьях, в том числе в 3 журнальных публикациях ([1], [2], [3]), материалах 5 Всероссийских ([4], [5], [6], [7], [8], [9]) и 3 международных конференций ([10], [11], [12], [13], [14], [15]). 6 статей размещено в изданиях, рекомендованных ВАК.

Краткое содержание диссертационной работы

Диссертация состоит из 5 глав, введения, заключения, списка цитированной литературы, в т.ч. списка работ автора.

Во введении обосновывается актуальность работы, сформулированы цель работы, поставленные задачи, научная новизна и основные положения, выносимые на защиту.

В главе 1 приведен обзор литературы из рассматриваемой области понижения размерности данных, разъясняются используемые термины, приведены ссылки на основополагающие принципы, наиболее часто используемые методы и алгоритмы, существующие подходы к рассмотрению задач, а также описание ряда актуальных проблем. Рассмотрена такая архитектура нейронных сетей, как многослойный персептрон. Приведено описание ряда методов АСВП, на основании которых была построена методика.

В главе 2 рассмотрен ряд модельных задач и эталонных задач, на основании изучения которых была выдвинута методика. Приведены качественные выводы по особенностям использования различных методов АСВП.

В главе 3 приведена разработанная методика построения ИНС для решения задач нелинейной регрессии с помощью нейронных сетей и ее представление в виде алгоритма. Также представлен алгоритм параллельного обучения множества персептронов с одним скрытым слоем, а также реализация алгоритма, использующая технологию С1ГОА. Проведено сравнение скорости обучения персептронов, полученной с использованием разработанной реализации, и скорости обучения, достигнутой на современных центральных процессорах.

В главе 4 рассмотрен ряд прикладных задач (задач реального мира), которые были решены с помощью предложенной методики.

В главе 5 приведено описание созданного программного комплекса (ПК), реализующего все рассмотренные алгоритмы, необходимые для применения методики при изучении незнакомых задач.

В заключении приведены основные результаты работы.

1 Обзор литературы

1.1 Терминология

В данном разделе обозначены наиболее часто используемые термины из области понижения размерности данных, а также некоторые нейросетевые термины.

Ряд терминов, являющихся общепринятыми в известном смысле в англоязычной литературе, либо не имеют общепринятых аналогов в литературе на русском языке, либо же русскоязычные термины являются по некоторым причинам неудачными. Поэтому, здесь и далее по тексту при необходимости введены соответствующие русскоязычные термины или даны комментарии к ним.

1. Англоязычный термин dimensionality reduction, характеризующий область исследований в целом, соответствует русскоязычному термину понижение размерности данных.

2. Англоязычный термин feature соответствует русскоязычному термину признак. В работе [33] указывается на ряд ситуаций, в которых существенно различие между терминами feature и variable (соответствует русскоязычному термину переменная). В работе будет использоваться термин признак, так как в рассматриваемых алгоритмах и при рассматриваемой постановке задачи (которая приведена ниже) различий между терминами признак и переменная нет.

3. Термин нейронная сеть (или просто сеть). Здесь и далее (если не оговорено противное) под нейронными сетями в данной диссертационной работе понимаются многослойные персептроны (МСП). Эти и другие различные адаптивные, в том числе нейросетевые архитектуры, рассмотрены, например, в фундаментальных работах [16], [17].

4. Эталонные задачи — ряд общедоступных задач из Интернета, являющихся стандартом де-факто при сравнении различных методов из области адаптивного анализа данных. Многие из них основаны на данных реального мира. К таковым относятся задачи из баз данных UCI Repository [18] и WEKA [19].

5. Англоязычный термин data driven methods соответствует термину методы, управляемые данными. Термин характеризует способность методов «обучаться на примерах». Поведение таких методов в большей степени зависит от конкретного содержания данных и в гораздо меньшей степени опирается на априорные

14 предположения о статистических или каких-либо иных свойствах этих данных. Большинство рассматриваемых в диссертационной работе методов и алгоритмов^ принадлежит к данной категории.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Гужва, Александр Георгиевич

Основные результаты и выводы диссертационной работы:

1. Создана, исследована и опробована для решения ряда задач методика построения ИНС (многослойных персептронов) для решения задач нелинейной регрессии и прогнозирования на основе отбора существенных входных признаков. Намечены дальнейшие пути развития предложенной методики. Предложены пути включения в имеющуюся методику новых алгоритмов.

2. Создан единый комплекс программ, реализующий все использованные алгоритмы для исследования данных с помощью предложенной методики.

3. Показано, что применение разработанной методики при использовании ИНС позволяет получать решения задач, в среднем имеющие более низкую погрешность и/или использующие меньшее количество входных переменных.

4. При решении задачи по прогнозированию значений Dst-индекса (раздел 4.1) с использованием разработанной методики удалось сократить количество используемых признаков до 5 раз с небольшой потерей качества прогноза. Были выделены наиболее существенные входные признаки; сделанные на основании полученного набора выводы согласуются с современными представлениями о физике рассматриваемого в задаче процесса.

5. Применение разработанной методики для решения задачи по восстановлению распределения электропроводности (раздел 4.2) позволило существенно (на два порядка) сократить число рассматриваемых входных признаков при улучшении качества решения.

6. Разработан алгоритм параллельного обучения множества МСП с одним скрытым слоем. Создана реализация данного алгоритма с использованием технологии CUDA компании NVIDIA. Продемонстрировано, что скорость работы программы с использованием графического процессора (GPU) на полтора-два порядка выше, чем у программ (в том числе коммерческих), использующих центральный процессор (CPU), что открывает новые возможности в исследовании наборов данных большой размерности с помощью нейросетевых алгоритмов.

Благодарности

Автор хотел бы всячески выразить свою искреннюю благодарность следующим людям, оказавшим помощь при выполнении данной диссертационной работы:

• Своему научному руководителю профессору Игорю Георгиевичу Персианцеву за внимание, интерес к данной работе и плодотворные обсуждения результатов.

• Своему Учителю Сергею Анатольевичу Доленко - за всё! :)

• Своей коллеге по лаборатории Юлие Сергеевне Шугай за многолетние совместные исследования и обсуждения, плодотворный обмен идеями и творческую атмосферу в лаборатории.

• Профессору Александру Михайловичу Попову, сделавшему ряд ценнейших замечаний.

• Своим коллегам Евгению Александровичу Оборневу и Михаилу Ильичу Шимелевичу из Российского Государственного Геолого-Разведочного института им. С. Орджоникидзе за совместные исследования и предоставленную возможность практического исследования одной из рассмотренных в диссертации задач.

• Своему брату Андрею, студенту 5 курса механико-математического факультета МГУ, сделавшему ряд ценнейших замечаний.

Заключение

Список литературы диссертационного исследования кандидат физико-математических наук Гужва, Александр Георгиевич, 2011 год

1. А.Г. Гужва, С.А. Доленко, И.Г. Персианцев, Ю.С. Шугай. Многоступенчатый алгоритм на основе комитета нейронных сетей для анализа многомерных временных рядов. // Нейрокомпьютеры: разработка, применение, 2010, № 3, С. 4-13.

2. А.Г. Гужва, С.А. Доленко, И.Г. Персианцев. Методика отбора существенных входных признаков при нейросетевом решении задач регрессии. // Нейрокомпьютеры: разработка, применение, 2010, № 3, С. 20-32.

3. M.H. Hassoun. Fundamentals of artificial neural networks. // The MIT Press, 1995.

4. Хайкин С. Нейронные сети: полный курс. // 2-е изд. Пер. с англ. М.: Вильяме, 2006.

5. Asuncion, A., Newman, DJ. (2007). UCI Machine Learning Repository. // URL: http://www.ics.uci.edu/~mlearn/MLRepository.html. Irvine, CA: University of California, School of Information and Computer Science.

6. База данных WEKA, URL: http://www.cs.waikato.ac.nz/ml/weka/

7. Carreira-Perpinan, M. A. A review of Dimension Reduction Techniques. // Technical Report CS-96-09, Dept. of Computer Science, University of Sheffield.

8. B. Kegl. Intrinsic dimension estimation using packing numbers. // Advances in Neural Information Processing Systems NIPS 2002, Vancouver, B.C., Canada. vol. 15, The MIT Press, 2003, pp. 681-688.

9. Н.Г. Макаренко. Фракталы, аттракторы, нейронные сети и все такое. // IV Всероссийская научно-техническая конференция «Нейроинформатика-2002», лекции ло нейроинформатике, часть 2, С. 121-169. М., МИФИ, 2002.

10. R. Bellmann. Adaptive Control Processes: A guided tour. // Princeton Univerisity Press, 1961.

11. Exploratory Factor Analysis A Book Manuscript by Tucker, L. & MacCallum R. (1993) URL: http://www.unc.edu/~rcm/book/factornew.htm

12. Multivariate Statistics: Exercises and Solutions. ISBN 978-0-387-70784-6, Springer New York, pp. 227-240.

13. T. Kohonen. Self-organized formation of topologically correct feature maps. // Biological Cybernetics, vol.43,1, Jan 1982, pp. 59-69.

14. I. Cohen, Y. Huang, J. Chen, J. Benesty. Pearson Correlation Coefficient. // Noise Reduction in Speech Processing. ISBN 978-3-642-00295-3, Springer Berlin Heidelberg, pp. 1-4.

15. L. Breiman. Random Forests. // Machine Learning, vol. 45,1, Oct 2001, pp. 5-32.

16. Ron Kohavi and George John. Wrappers for feature subset selection. // Artificial Intelligence, 97 (1-2): 273-324, 1997.

17. P. Pudil, J. Novovicova, J. Kittler. Floating search methods in feature selection. // Pattern Recognition Letters, 15(11):1119-1125, 1994.

18. J.H. Holland. Adaptation in Natural and Artificial Systems. // University of Michigan Press.

19. L. Rokach, O. Maimon. Decision trees. // Data mining and Knowledge discovery handbook, ISBN 978-0-378-24435-8, Springer US, pp. 165-192.

20. Guyon, I., Elisseeff, A. An Introduction to Variable and Feature Selection. // Journal of Machine Learning Research, 2003, vol. 3, pp. 1157-1182.

21. Wolpert, D., Stacked Generalization. //Neural Networks, 5(2), pp. 241-259., 1992

22. L. Oukhellou, P. Aknin, H. Stoppiglia, G. Dreyfus. A new decision criterion for feature selection: Application to the classification of non destructive testing signatures. // European Signal Processing Conference (EUSIPCO' 98), Rhodes, 1998.

23. Hastie Т., Tibshirani R., Friedman J. The Elements of Statistical Learning. Data mining, Inference and Prediction. // Springer series in statistics, 2009. DOI: 10.1007/978-0-387-84858-7.

24. С.А. Доленко, Ю.В. Орлов, И.Г. Персианцев, Ю.С. Шугай. Адаптивное построение иерархических нейросетевых классификаторов. // Нейрокомпьютеры: разработка и применение, 2005 г, №1-2, С. 5-11.

25. Corinna Cortes and V. Vapnik. Support-Vector Networks. // Machine Learning, 20,1995.

26. Guyon, I., Gunn, S., Nikravesh, M., Zadeh, L. Feature Extraction: foundations and applications. // Studies in Fuzziness and Soft Computing, vol. 207.

27. А.И. Галушкин. О методике решения задач в нейросетевом логическом базисе. // VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006», сборник научных трудов, часть 1, С. 9-23. М., МИФИ, 2006.

28. W.M. Hartmann. Dimensionality Reduction vs. Variable Selection. // SAS Institute, Inc., Cary NC, USA. Technical report.

29. L.J.P. van der Maaten, E.O. Postma, H.J. van den Herik. Dimensionality Reduction: A comparative review.

30. B.B. Стрижов, E.A. Крымова. Методы выбора регрессионных моделей. // Сообщения по прикладной математике. Вычислительный центр РАН, Москва, 2010.44 URL: http://pca.narod.ru

31. А.Н. Колмогоров. Представление непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного и сложения. // Доклады АН СССР, 1957, т. 114, №5, С. 953-956.

32. G. Cybenko. Approximation by superpositions of sigmoidal function. // Mathematics of Control, Signals, and Systems, 1989, v.2, pp. 304-314.

33. K. Hornik, M. Stinchcombe, H. White. Multilayer feedforward networks are universal approximators.// Neural Networks, 1989, v.2, №5, pp. 359-266.

34. K. Funahashi. On the approximate realization of continuous mappings by neural networks. Neural Netwoks, 1989, v.2, №3, pp.183-192.

35. D.E. Rumelhart, G.E. Hinton, R.J. Williams. Learning Internal Representations by Error Propagation // Parallel Distributed Processing: Explorations in the Microstructures of Cognition. V.l: Foundations. MIT Press. 1986. P.318-362.

36. С. Shannon. A Mathematical Theory of Communication. // Bell System Technical Journal, vol. 27, pp. 379-423,623-656, July, October, 1948

37. W.H. Press, S.A. Teukolsky, W.T. Vetterling, B.P. Flannery. Numerical Recipes in C: The Art of Scientific Cimputing. // Cambridge Univercity Press, 1992.

38. R. Fransens, C. Strecha, L. van Gool. Multimodal and multiband image registration using mutual information. // Visics KU Leuven, Belgium. URL: http://cvlab.epfl.ch/~strecha/publications/esa eusc2004.pdf

39. Philip A. Legg, Paul L. Rosin, D. Marshall, J. E. Morgan. Improving Accuracy and Efficiency of Registration by Mutual Information using Sturges' Histogram Rule. // URL: http://users.cs.cf.ac.Uk/P.A.Legg/papers/miuapaper07.pdf

40. G.D. Tourassi, E.D. Frederick, M.K. Markey, C.E. Floyd Jr. Application of mutual information criterion for feature selection in computer aided diagnosis. // URL: http://www.cse.msu.edu/~cse902/S03/mi features.pdf

41. K.H. Knuth. Optimal Data-based binning for histograms. // URL:http://arxiv.org/abs/physics/0605197

42. M. Gevrey, I. Dimopoulos, S. Lek. Review and comparison of methods to study the contribution of variables in artificial neural network models. // Ecological Modelling 160 (2003), pp. 249-264

43. Linda, L. Feature Selection Using Neural Networks with Contribution Measures. // Computer Science and Engineering, University of New South Wales, 1995

44. Warren S. Sarle. How to measure importance of inputs? // SAS Institute Inc., Cary, NC, USA. ftp://ftp.sas.com/pub/neural/importance.html

45. D.F. Specht. A Generalized Regression Neural Network. // IEEE Transactions on Neural Networks, 2, Nov. 1991, pp. 568-576.

46. Pudil, P., Somol, P. Current Feature Selection Techniques in Statistical Pattern Recognition. // Computer Recognition Systems, Springer Berlin / Heidenberg, 2005, pp. 53-68

47. Н.Г. Загоруйко. Прикладные методы анализа данных и знаний. // Новосибирск: Изд-во ин-та математики, 1999.

48. Guyon, I., Gunn, S., Nikravesh, M., Zadeh, L. Feature Extraction: foundations and applications. // Studies in Fuzziness and Soft Computing, vol. 207. Chapter 4, pp. 119-136.

49. А.Г. Ивахненко. Индуктивный метод самоорганизации моделей сложных систем. // Киев, Наукова думка, 1982. URL: http://www.gmdh.net

50. Holland, John Н. Adaptation in Natural and Artificial Systems. // University of Michigan Press, 1975, Ann Arbor

51. J.R. Koza. Genetic programming on the programming of computers by means of natural selection. // The MIT Press, 1992

52. Walter J. Gutjahr. Mathematical runtime analysis of ACO algorithms: survey on an emerging issue. // Swarm Intelligence, vol.1,1,2007, pp. 59-79.

53. R. Poli, J. Kennedy, T. Blackwell. Particle Swarm Optimization. // Swarm Intelligence, vol.1, 1,2007, pp. 33-57.

54. J.H. Friedman (1999). Stochastic Gradient Boosting (Tech. Rep.). // URL: http://www-stat.stanford.edu/~jhf/ftp/stobst.ps

55. Костенко В.А., Смолик A.E. Алгоритм мультистарта с отсечением для обучения нейронных сетей прямого распространения. // IX Всероссийская научная конференция «Нейроинформатика-2007», сборник научных трудов, часть 3, С. 251-257. М., МИФИ, 2007

56. А.А. Ежов, С.А. Шумский. Нейрокомпьютинг и его применение в бизнесе. // Москва, МИФИ, 1998.

57. Warren S. Sarle. Donoho-Johnstone Benchmark: Neural Net Results // SAS Institute Inc., Cary, NC, USA. ftp://ftp.sas.com/pub/neural/doio/doio.html

58. G. Huang, H.A. Babri. Upper Bounds of the Number of Hidden Neurons in Feedforward Networks with Arbitrary Bounded Nonlinear Activation Functions. // IEEE Transactions on Neural Networks, vol. 9, no. 1, January 1998.

59. C.A. Терехов. Гениальные комитеты умных машин. // IX Всероссийская научная конференция «Нейроинформатика-2007», лекции по нейроинформатике, часть 2. М.: МИФИ, 2007. URL: http://neurolectures.narod.ru/2007/Terekhov-2007.pdf

60. J. Numata, О. Ebenhoh, Е. Knapp. Measuring Correlations in Metabolomic networks with mutual information. // URL: http://www.isbi.org/pdfs/iournall/IBSB08/IBSB08010.pdf

61. C.A. Доленко, Ю.В. Орлов, И.Г. Персианцев, Ю.С. Шугай. Нейросетевые алгоритмы прогнозирования событий и поиска предвестников в многомерных временных рядах. // Нейрокомпьютеры: разработка, применение, 2005, №1-2, С. 21-28.

62. S. Lahabar, P. Agrawal, P.J. Narayanan. High Performance Pattern Recognition on GPU. // URL: http://web.iiit.ac.in/~sheetal/Paper/NN.pdf

63. URL: http://www.codeproiect.com/KB/graphics/GPUNN.aspx

64. URL: http://www.nvidia.ru/object/cuda develop emeai.html

65. URL: http://neuroproiect.ru/aboutproduct.php?info=ns2info

66. URL: http://www.mathworks.com/products/matlab/

67. R.K Burton, R.L. McPherron, and C.T. Russell. An empirical relationship between interplanetary conditions and Dst // J. Geophys. Res. 1975. v. 80. p. 4204.

68. M. Temerin and X. Li. Dst model for 1995-2002 // J. Geophys. Res. 2006. v. 111. a04. p. 221-232.

69. H. Gleisner, H. Lundstedt, P. Wintoft. Predicting geomagnetic storms from solar-wind data using time-delay neural networks // Annales Geophysicae. 1996. v.14. p. 679-686.

70. J.-G. Wu, H. Lundstedt. Geomagnetic storm predictions from solar wind data with the use of dynamic neural networks // J. Geophys. Res. 1997. v.102. a7. p. 14255.

71. M.V. Stepanova, E.E. Antonova, O. Troshichev. Forecasting of DST variations from polar cap indices using neural networks // Advances in Space Research. 2005. v.36. pp. 2451-2454.

72. Sh.Watanabe et al. Prediction of the Dst index from solar wind parameters by a neural network method // J. Communications Research Laboratory. 2002. v.49. №4. pp. 69-85.

73. Ю.С. Шугай. Разработка нейросетевых алгоритмов анализа многомерных временных рядов и их применение при исследовании солнечно-земных связей. // Дисс. канд. физ.-мат. наук, Москва 2006.

74. URL: http://wdc.kugi.kyoto-u.ac.ip/dstfinal/index.html

75. URL: http://www.srl.caltech.edu/ACE

76. И.С. Веселовский, Ю.С. Шугай, О.С. Яковчук. Связь между Dst и Bz для геомагнитных бурь в 23 солнечном цикле. // Солнечно-земная физика. Вып. 12, т. 1. (2008), С. 172-173.

77. Хмелевской В.К. Геофизические методы исследования земной коры. // Дубна: Международный университет природы, общества и человека "Дубна", 1997

78. Оборнев Е.А. Инверсия двумерных магнитотеллурических данных на основе нейросетевой аппроксимации. // Дисс. канд.физ.-мат. наук, Москва, 2007.

79. М.Н. Бердичевский, В.И. Дмитриев. Обратные задачи магнитотеллурики в современной постановке. // Физика Земли, 2004,.№4, С. 12-29.

80. Тихонов А.Н., Дмитриев В.И., Гласко В.Б. Математические методы в разведке полезных ископаемых. // М., Знание, 1983. 64 с.

81. Павлов Д.Ю. Решение обратной коэффициентной задачи теплопроводности с помощью нейросети. // Вест. МГУ, Серия 15 ВМК, № 4. 1994.

82. Shimelevich M.I., Obornev E.A. The method of neuron network in inverse problems MTZ // Abstracts of the 14-th workshop on Electromagnetic Induction in the Earth, Sinaia, Romania, 1998. p.159.

83. Спичак B.B., Попова И.В. Применение нейросетевого подхода для реконструкции параметров трехмерной геоэлектрической структуры. // Изв. РАН, Сер. Физика Земли. 1998. №1, С. 39-45.

84. Шимелевич, М.И., Оборнев, Е.А. Применение метода нейронных сетей для аппроксимации обратных операторов в задачах электромагнитных зондирований // Изв. вузов, Геология и разведка, 2, С. 102-106,1999

85. Шимелевич, М.И., Оборнев, Е.А. Гаврюшов С.А. Техника построения нейронных сетей для решения многопараметрических обратных задач магнитотеллурического зондирования // Изв. вузов, Геология и разведка, 2, 2001. С. 129-137

86. Shimelevich, M.I., Obornev, Е.А., Gavryushov, S. Rapid neuronet inversion of 2D magnetotelluric data for monitoring of geoelectrical section parameters // Annals of Geophysics, vol.50, №.1, Febr. 2007, pp. 105-109.

87. Шимелевич М.И., Оборнев E.A. Аппроксимационный метод решения обратной задачи МТЗ с использованием нейронных сетей. // Физика Земли, 2009,12. С. 22-38

88. Шимелевич, М.И., Оборнев, Е.А., Гаврюшов С.А. Применение нейросетевой аппроксимации для решения задач мониторинга параметров геоэлектрических разрезов // Изв. вузов, Геология и разведка, №4. 2003. С. 70-71.

89. Шимелевич М.И., Оборнев Е.А. Нейросетевая метод магнитотеллурического мониторинга геоэлектрических параметров среды на основе не полных данных // Вестник КРАУНЦ, Науки о Земле, №1, выпуск 11. 2008. С. 62-67.

90. Варенцов И.М. Робастные методы совместной инверсии магнитотеллурических и магнитовариационных данных в кусочно неоднородных средах // Электромагнитные исследования земных недр / Под ред. В.В. Спичака, М.: Научный мир, 2005. С. 54-75

91. Tetko, I.V. Prediction of physicochemical properties. // Computational Toxicology: Rist Assessment for Pharmaceutical and Environmental Chemicals; Ekins, S., Ed.; John Wiley & Sons, Inc.: NJ, 2007. Vol. 1, pp. 241-275.

92. URL: http://ec.europa.eu/environment/chemicals/reach/reach intro.htm

93. URL: http://www.kios.org.cy/ICANN09/

94. Schultz, T.W. 1997. TETRATOX: Tetrahymena pyriformis population growth impairment endpoint-A surrogate for fish lethality. // Toxicol. Methods 7: 289-309. URL: http://www.vet.utk.edu/TETRATOX/

95. URL: http://www.cadaster.eu/node/65

96. URL: http://www.cadaster.eu/final results.html