Алгоритм контентной фильтрации спама на базе совмещения метода опорных векторов и нейронных сетей тема диссертации и автореферата по ВАК РФ 05.13.19, кандидат технических наук Мироненко, Антон Николаевич

• Мироненко, Антон Николаевич
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Мироненко, Антон Николаевич

Введение.

Глава 1. Алгоритмы фильтрации почтовых сообщений.

1.1 Электронная почта и нежелательные рассылки.

1.2 Характеристики спама.

1.3 Классификация спам-сообщений.

1.4 Спам без вложений.

1.5 Спам со вложением.

1.6 Анализ уязвимости различных учетных записей электронной почты.

1.7 Массовые методы рассылки.

1.8 Ущерб, наносимый спамом.

1.9 Контрмеры.

1.10 Вывод.,.

Глава 2. Смешанный алгоритм фильтрации основанный на методе опорных векторов и нейронной сети.

2.1 Метод опорных векторов.

2.3 Обработка обучающего множества.

2.4 Алгоритм таксономии БОИБЬ.

2.5 Результаты обработки обучающего набора.

2.6 Вывод.

Глава 3. Спам-фильтр на основе двухслойного персептрона.

3.1 Формальные нейроны и персептрон на их основе.

3.2 Формирование двухслойного персептрона.

3.3 Результаты тестирования.

3.4 Вывод.

Глава 4. Спам-фильтр на основе персептрона Розенблатта и саморганизующихся карт Кохонена.

4.1 Персептрон Розенблата.

4.2 Самоорганизующиеся карты Кохонена.

4.3 Результаты тестирования.

4.4 Сравнительное тестирование.

4.5 Вывод.

Введение диссертации (часть автореферата) на тему «Алгоритм контентной фильтрации спама на базе совмещения метода опорных векторов и нейронных сетей»

Актуальность работы. Одним из направлений исследований в области защиты информации является разработка методов и алгоритмов фильтрации потока электронной почты. В последнее время электронная почта стала одним из наиболее распространенных средств связи, управления и бизнеса. Она является достаточно совершенной в техническом отношении и недорогой альтернативой привычным средствам связи.

Вместе с развитием электронной почты увеличивается и количество угроз ее нормальному функционированию. Наиболее серьезной и важной проблемой стал так называемый спам, то есть нежелательные массовые рассылки сообщений, в основном рекламного характера. По сообщениям экспертов «Лаборатории Касперского», в 2010 году доля спама превысила 83% общего количества пересылаемых писем [29].

На сегодняшний день разработан ряд технологий построения фильтров - сервисов для отсеивания нежелательной корреспонденции. Все технологии можно разделить на настраиваемые вручную и интеллектуальные. Настраиваемые вручную фильтры основываются на списках доступа и настраиваются непосредственно пользователем, который выбирает либо нежелательные адреса, при политике пропуска по «черному списку» [45], либо разрешенные адреса, при политике пропуска по «белому списку»[46]. Однако ручные способы фильтрации нежелательных сообщений малоэффективны и требуют постоянного обновления списков доступа, создавая дополнительную нагрузку на пользователя.

Фильтры, построенные с использованием технологий искусственного интеллекта [42,51], требуют обучения только на начальном этапе, дообучаясь в дальнейшем самостоятельно, существенно снижая нагрузку на пользователя. Самым распространенным на сегодняшний день является фильтр на основе наивных байесовских классификаторов (Naive Bayes Classifiers) [75], в которых предполагается, что различные термы сообщения 4 независимы друг от друга. Максимальный результат, достигнутый байесовскими фильтрами, на сегодняшний день составляет порядка 95% отфильтрованного спама [82]. Для повышения эффективности байесовского фильтра необходимо учитывать семантические связи между термами, что требует привлечения методов семантического анализа, существенно повышает нагрузку на систему и увеличивает время работы самого фильтра при незначительном повышении эффективности фильтрации.

Другим подходом, получающим в последнее время все большее распространение, является использование нейросетей [62]. Преимущество нейросетевого подхода перед байесовским состоит в том, что не делается никаких предварительных предположений о характере нежелательных сообщений, а семантические связи учитываются автоматически. Наибольшее количество разработок связано с построением фильтра на основе многослойного персептрона. Однако такой подход встречается с рядом трудностей, связанных с выбором пороговых значений, которые задаются произвольно в некотором интервале. Эффективность фильтра существенно зависит от их выбора. При этом данная величина требует постоянной подстройки под изменяющийся характер нежелательных сообщений.

Также малоисследованным остается вопрос использования других нейросетей, хорошо зарекомендовавших себя в задачах распознавания образов, частным случаем которых является фильтрация спама.

Таким образом, развитие нейросетевого подхода, применительно к фильтрации нежелательных сообщений, является актуальной задачей.

Предметом исследования диссертационной работы является эффективность фильтрации спама в потоке почтовых сообщений при использовании нейросетевых технологий.

Объектом исследования являются фильтры нежелательных сообщений, использующие нейросетевые технологии.

Целью диссертационной работы повышение эффективности фильтрации нежелательных сообщений в потоке электронной почты с использованием интеллектуальных систем.

Для достижения поставленной цели были решены следующие задачи:

1. Разработка смешанного алгоритма на основе совмещения метода опорных векторов и нейросетевого подхода.

2. Реализация и апробация смешанного спам-фильтра на основе двухслойного персептрона.

3. Реализация и апробация смешанного спам-фильтра на основе персептрона Розенблатта.

4. Реализация и апробация смешанного спам-фильтра на основе самоорганизующихся карт Кохонена.

Методы исследования. В диссертационной работе использованы методы построения нейронных сетей, алгоритмы кластеризации и методы системного анализа.

Научная новизна.

1. Впервые совместно использованы метод опорных векторов и нейросети для построения спам-фильтра.

2. Впервые для фильтрации писем использованы совместно алгоритм таксономии и двухслойный персептрон.

3. Впервые для фильтрации писем использованы совместно алгоритм таксономии и персептрон Розенблатта.

4. Впервые для фильтрации писем использованы совместно алгоритм таксономии и самоорганизующиеся карты Кохонена.

Практическая значимость работы заключается в возможности разработки прикладных систем индивидуальной зашиты от нежелательной корреспонденции для персональных компьютеров.

Основные положения, выносимые на защиту.

1. Алгоритм фильтрации спам-сообщеиий на основе совместного использования алгоритма таксономии и нейросетевого подхода.

2. Система фильтрации спам-сообщений на основе алгоритма таксономии БОЯБЬ и двухслойного персептрона.

3. Система фильтрации спам-сообщений на основе алгоритма таксономии БОЯБЬ и персептрона Розенблатта.

4. Система фильтрации спам-сообщений на основе алгоритма таксономии БОКЕЬ и самоорганизующихся карт Кохонена.

Апробация работы. Основные положения диссертационной работы представлялись и обсуждались на следующих конференциях: «Актуальные проблемы безопасности информационных технологий». (Красноярск, 2009, 2010), «Информационные технологии и автоматизация управления» (Омск, 2009, 2010), а также были внедрены в деятельность трех организаций.

Публикации. Результаты диссертационной работы были представлены в 9 публикациях: в 6 научных статьях, в том числе 3 статьи - в журналах из списка периодических изданий, рекомендованных ВАК.

Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Работа содержит 96 страниц основного текста, 38 рисунков и 11 таблиц. Список литературы включает 100 наименований.

Заключение диссертации по теме «Методы и системы защиты информации, информационная безопасность», Мироненко, Антон Николаевич

4.5 Вывод

Исходя из результатов этой главы, можно сделать следующие выводы:

1. В разработанной системе фильтрации на основе совмещения метода опорных векторов и нейро сетевого подхода возможно использование персептрона Розенблатта и нейронной сети на основе карт Кохонена.

2. Система фильтрации спам-сообщений на основе персептрона Розенблатта приводит к ошибкам первого рода в пределах 0%.

3. Система фильтрации спам-сообщений на основе персептрона Розенблатта приводит к ошибкам второго рода в пределах 1.48%.

4. Система фильтрации спам-сообщений на основе карт Кохонена приводит к ошибкам первого рода в пределах 0%.

5. Система фильтрации спам-сообщений на основе карт Кохонена приводит к ошибкам второго рода в пределах 1.11%.

6. Полученная система на основе персептрона Розенблатта и карт Кохонена обладает высокой скоростью обучения и достигает результатов сравнимых с широко распространенными коммерческими системами через 5 дней.

Заключение

В заключении приведем основные результаты диссертационной работы:

1. Разработан смешанный спам-фильтр на основе совмещения метода опорных векторов и нейросетевого подхода. В методе опорных векторов применен алгоритм таксономии РСЖЕЬ. Такой подход позволяет одновременно существенно уменьшить как размерность пространства опорных векторов, так и количество входных синапсов нейронной сети. В результате заметно уменьшается время работы фильтра. Основным преимуществом предлагаемого алгоритма фильтрации является его скорость работы, в среднем на обработку одного входящего сообщения затрачивается 1,58 секунды, при сохранении приемлемого уровня ложных срабатываний и качества фильтрации.

2. Реализован смешанный спам-фильтр на основе двухслойного персептрона. -Апробация на специально созданной коллекции показала эффективность 80,33%. Испытания на реальном почтовом ящике показали среднюю эффективность 89,07%. Следует также отметить рост эффективности фильтра с течением времени вследствие дообучения.

3. Реализован смешанный спам-фильтр на основе персептрона Розенблатта. Апробация на специально созданной коллекции показала эффективность 80,82%. Испытания на реальном почтовом ящике показали среднюю эффективность 91,79%. Следует также отметить рост эффективности фильтра с течением времени вследствие дообучения.

4. Реализован смешанный спам-фильтр на основе самоорганизующихся карт Кохонена. Апробация на специально созданной коллекции показала эффективность 78,25%. Испытания на реальном почтовом ящике показали среднюю эффективность 88,50%. Следует также отметить рост эффективности фильтра с течением времени вследствие дообучения.

Основные публикации по теме диссертации

Журналы из списка, рекомендованного ВАК:

1. Мироненко А.Н. Автоматическая фильтрация спама на базе сети формальных нейронов // Вестник омского университета. Омск, 2011, №2. С. 178-182

2. Мироненко А.Н., Белим C.B. Многоуровневая система фильтрации спама // Информационные системы и технологии, 2011, №3. С. 125-128

3. Мироненко А.Н., Белим C.B. Модель фильтрации спам-сообщений в потоке электронной почты // Вестник компьютерных и информационных технологий, 2011, №11. С.34-36.

В других изданиях:

4. Мироненко А. Н. Метод распознавания спам-сообщений на основе заголовка письма // Математические структуры и моделирование, 2010, №21. СЛ 33-140.

5. Мироненко А. Н., Белим C.B. Методы распознавания спам-сообщений на основе заголовка письма // Материалы III Международной научно-практической конференции «Актуальные проблемы безопасности информационных технологий». Красноярск, 2009. С. 75-79.

6. Мироненко А. Н. Выявление спам-сообщений в потоке электронной почты // Материалы IV Международной научно-практической конференции «Актуальные проблемы безопасности информационных технологий». Красноярск, 2010. С. 83-86.

7. Мироненко А.Н., Белим C.B. Выявление спам-сообщений в потоке электронной почты // Материалы межвузовской научнопрактической конференции «Информационные технологии и автоматизация управления». Омск, 2009. С. 130.

8. Мироненко А.Н. Принцип распознавания спам-сообщений на основе заголовка письма // Материалы II межвузовской научно-практической конференции «Информационные технологии и автоматизация управления». Омск, 2010. С. 110-112.

9. Мироненко А.Н. Модель фильтрации спама на основе многослойной нейронной сети // Материалы III межвузовской научно-практической конференции «Информационные технологии и автоматизация управления». Омск, 2011. С. 56-57.

Список литературы диссертационного исследования кандидат технических наук Мироненко, Антон Николаевич, 2012 год

1. Акулич И.Л. Глава 3. Задачи нелинейного программирования // Математическое программирование в примерах и задачах— М.: Высшая школа, 1986. —С. 319.

2. Алгоритм обратного распространения ошибки.

3. URL: http://www.aiportal.ru/articles/neural-networks/backpropagation.html

4. Бугров Я. С., Никольский С. М. Высшая математика. Дифференциальные уравнения. Кратные интегралы. Ряды. Функции комплексного переменного — М.: Наука, 1985. — С. 464.

5. Ветров ДП., Кропотов Д.А. Алгоритмы выбора моделей и построения коллективных решений в задачах классификации, основанные на принципе устойчивости 2006. 112 с.

6. Гришков М. OpenBSD // Системный администратор. 2008. - № 8.-С. 60-63.

7. Головко В.А. Нейронные сети: обучение, организация и применение. М., ИПРЖР, 2001.

8. Горбунова Е. О., Доррер М. Г., Жуков Л. А. и др. Методы нейроинформатики / Под. ред. А. Н. Горбаня; отв. за выпуск М. Г. Доррер. КГТУ, Красноярск, 1998. 205 с.

9. Горбань А.Н., Обучение нейронных сетей, М.: СП ПараГраф,1991.

10. Горбань А.Н., В.Л.Дунин-Барковский, А.Н.Кирдин и др. Нейроинформатика, Отв. Ред. Новиков Е.А., РАН, Сиб. Отд., Институт выч. Моделирования Новосибирск: Наука, 1998.

11. Гордиенко П.В. Стратегии контрастирования // Нейроинформатика и ее приложения. Тезисы докладов 5 Всероссийского семинара, 3-5 октября 1997 г. / Под ред. А.Н.Горбаня. — Красноярск: изд. КГТУ, 1997. — С. 69.

12. Доля А. Тенденции развития спама и средства борьбы с ним // Компьютер Пресс. -2006. № 10. - С. 4-7.

13. Ежов А., Шумский С., Нейрокомпьютинг и его применение в экономике и бизнесе, 1998.

14. Елкин Е. А., Елкина В. Н., Загоруйко Н. Г. О возможности применения методов распознавания в палеонтологии // Геология и геофизика. —1967. — №9. С. 75-78.

15. Елкина В. Н., Загоруйко Н. Г., Куклин А. П., Комаровский Э. Д. Типы ртутоносных и оловоносных территорий Чукотки // Колыма. Магадан, 1972. —№4.-С. 37-40.

16. Елкина В. Н., Загоруйко Н. Г., Новоселов Ю. А. Математические проблемы агроинформатики. Новосибирск: изд. Ин-та математики СО РАН, 1987.

17. Загоруйко Н. Г. Прикладные методы анализа данных и знаний // Издательство института математики, Новосибирск, 1999. С. 270.

18. Загоруйко Н. Г., Елкина В. Н., Емельянов С. В., Лбов Г. С. Пакет прикладных программ ОТЭКС. —М.: Финансы и статистика, 1986.

19. Загоруйко Н. Г. Прикладные методы анализа данных и знаний. Новосибирск: ИМ СО РАН, 1999.

20. Загоруйко Н. Г., Ёлкина В. Н., Лбов Г. С. Алгоритмы обнаружения эмпирических закономерностей. Новосибирск: Наука, 1985.

21. Загоруйко Н. Г., Заславская Т. И. Применение методов распознавания образов в социологии. Новосибирск: Наука, 1968.

22. Заенцев И. В. Нейронные сети: основные модели / Учебное пособие к курсу «Нейронные сети» для студентов 5 курса магистратуры к. электроники физического факультета Воронежского Государственного университета.

23. Зорич В. А. Математический анализ. Часть 1 — изд. 2-е, испр. и доп. —М.: ФАЗИС, 1997.

24. Круглов В.В., Борисов В.В. Искусственные нейронные сети. -М.: Горячая линия Телеком, 2002. -С. 382.

25. Короткий С. Нейронные сети: алгоритм обратного распространения. URL: http://www.orc.ru/~stasson/n2.zip

26. Короткий С. Нейронные сети: основные положения.

27. URL: http://www.orc.ru/~stasson/nl .zip

28. Короткий С. Нейронные сети: обучение без учителя.

29. URL: http://www.orc.ru/~stasson/n3.zip

30. Кохонен, Т. Самоорганизующиеся карты. М.: БИНОМ. Лаборатория знаний, 2008. -С. 655.

31. URL: http://www.spamtest.ru.

32. Методы распознавания спама.

33. URL: http://exortus.ru/borbaspam2.php

34. Минский М., Пайперт С. Персептроны. М.: Мир, 1971.

35. Мкртчян С.О. Нейроны и нейронные сети (Введение в теорию формальных нейронов и нейронных сетей). М: Энергия, 1971. -С. 232.34. Нейронные сети Кохонена.

36. URL: http ://www. aiportal. ru/articles/neural -networks/networkkohonen.html

37. Никрасов A.T. Антиспамовые фильтры // Компьютер Пресс. -2005,-№2.-С. 9-15.

38. Оконешников A.B. Комбинированный алгоритм обучения искусственных нейронных сетей прямого распространения.

39. URL: http://lib.khsu.ru/cgiin/libredir?i=53 6&p=/khsusiteparts/khsu/publishing

40. Vestnik/Vestnik99/kombalgorobucheniskneyr.zip

41. Оконешников A.B. Использование алгоритма обратного функционирования для обучения искусственных нейронных сетей. Вестник Хар. ун-та. Сер.1, Мат.,Инф., 1998. С.81-84.

42. Орлов А.И. Прикладная статистика. -М.: Издательский дом Экзамен, 2004.

43. Осовский, С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. -С. 244.

44. Ососков Г.А., Филимонов A.B. Динамическая оптимизация структуры персептронов. Сообщение ОИЯИ PI 1-2002-274, Дубна, 2002.

45. Паклин Н. Б., Орешков В. И. Бизнес-аналитика: от данных к знаниям. СПб.: Питер, 2009. - С. 624.

46. Рассел С., Норвиг П. Искусственный интеллект: современный подход. М.: Вильяме, 2007. С. 1408.

47. Редько В.Г. Искусственные нейронные сети. Формальный нейрон. Основные нейросетевые парадигмы.1. URL:http://www.keldysh.ru/pages/BioCyber/Lectures/Lecturel 1 /Lecture 11. html

48. Розенблатт Ф. Принципы нейродинамики: перцептроны и теория механизмов мозга. — М.: Мир, 1965.

49. Слепов О. Борьба со спамом // Jetinfo 2004. - № 8. - С. 3-5.

50. Способы борьбы со спамом. -URL:http://www.microsoft.com/Rus/Government/Newsletters/Issue23/03.mspx

51. Супрунов С. AHTHBipyc + Антиспам Dr. Web для почтовых серверов UNIX // Системный администратор. 2007. - № 6. - С. 54-55.

52. Суровцев И.С., Клюкин В.И., Пивоварова Р.П. Нейронные сети.-Воронеж: ВГУ, 1994. С. 225.

53. Терехов С.А. Нейросетевые информационные модели сложных инженерных систем.

54. URL:http://www.91 .ru/Education/Books/Neural%20Net/Bmst/Bookl /gl4/g 14.htm

55. Терехов С.А. Лекции по теории и приложениям искусственных нейронных сетей // Лаборатотория Искусственных Нейронных Сетей НТО-2, ВНИИТФ, Снежинск

56. Уфимцев М.В. Методы анализа данных: Учебное пособие. — М.: Издательский дом МАКС ПРЕСС, 2007

57. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика = Neural Computing. Theory and Practice — M.: Мир, 1992. — С. 240. — ISBN 5-03-002115-9. URL: http://evrika.tsi.lv/index.php?name=texts&file=show&f=410

58. Хайкин С. Нейронные сети: полный курс, 2-е издание. Исправленное: Пер. с англ. М.: Издательский дом «Вильсямс», 2006. — С. 1104.

59. Хайкин, С. Нейронные сети: полный курс / С. Хайкин. М.: Вильяме, 2005. — С. 1104.

60. Шибзухов З.М. Некоторые вопросы теоретической нейроинформатики. В кн.: XIII Всероссийская научно-техническая конференция «Нейроинформатика-2011». Лекции по нейроинформатике. М., НИЯУ МИФИ, 2010. С.44-72.

61. Шляхтина С. Обзор защиты от вирусов и других вредоносных программ // Компьютер Пресс. 2006. - № 10. - С. 13-15.

62. Яхьяева Г.Э. Основы теории нейронных сетей. Интернет-университет информационных технологий, изд-во «Открытые системы».

63. Almeida, М. В., Braga, А. P., Braga, J. P.: SVM-KM: speeding SVMs learning with a priori cluster selection and k-means. In: Proceedings of the 6th Brazilian Symposium on Neural Networks, 2000. 162-167

64. Anirudh Ramachandran, Nick Feamster : Understanding the network level behaviour of spammers,SIGCOMM 06, September ,2006. 11-16

65. Back. A. Hashcash, May 1997.

66. URL: http://www.cypherspace.org/hashcash.

67. Bartlett P., Shawe-Taylor J. Generalization performance of support vector machines and other pattern classifiers // Advances in Kernel Methods MIT Press, Cambridge, USA,1998.

68. Bishop C.M., et al. Real-Time control of a Tokamak plasma using neural networks. Neural Computation, v.7, 1995, pp.206-217.

69. Burghouts G.J., Geusebroek J.M. Performance evaluation of local colour invariants // Computer Vision and Image Understanding. 2009. - V. 113, -P. 48-62.

70. Burges C.J.C. A tutorial on support vector machines for pattern recognition. // Data Mining and Knowledge Discovery, 1998. — p. 955-974.

71. Cadieu C, Kouh M, Pasupathy A, Conner CE, Riesenhuber M, and Poggio T. A Model of V4 Shape Selectivity and Invariance. J Neurophysiol 98: 1733-1750, 2007.

72. Carl Eklund: Spam -from nuisance to Internet Infestation, Peer to Peer and SPAM in the Internet Raimo Kantola's technical report, 126-134, 2004.

73. Caudill, M. The Kohonen Model. Neural Network Primer. AI Expert, 1990,25-31.

74. Charalambous C.,"Conjugate gradient algorithm for efficient training of artificial neural networks," IEEE Proceedings, vol. 139, no. 3, pp. 301-310, 1992.

75. Dhinaharan Nagamalai, Beatrice Cynthia Dhinakaran, Jae-Kwang Lee: Multi layer Approach to defend DDoS attacks caused by Spam, IEEE MUE 07, pp 97-102, April 2007.

76. Edgar E.Peters. Fractal Market Analysis: Applying Chaos Theory to Investment and Economics. Wiley Finance, 1994.

77. Estebon, M. D.; Tech, V. Perceptrons: An Associative Learning Network. URL: http://ei.cs.vt.edu/~history/Perceptrons.Estebon.html

78. Fine S., Scheinberg K. INCAS: An incremental active set method for SVM: Tech.rep.: 2002. URL: http://citeseer.ist.psu.edu/fine02incas.html.

79. Friedman N., Geiger D., Goldszmidt M., Bayesian Network Classifiers // Machine Learning. 1997. 29. P. 131-165.

80. Frye. R.C. Adaptive neural network algorithms for computing proximity effect corrections. J.Vac.Sci.Technol. B, V.9, n.6, Nov/Dec 1991, pp.3054-3058.

81. Graham P. Better Bayesian Filtering // Proceedings of the 2003 Spam Conference, Cambridge, 2003. URL: http://paulgraham.com/better.html.

82. Jae Yeon Jung, Emil sit: An empirical study of spam traffic and the use of DNS Black lists, ACM SIGCOMM Internet measurement conferences, pp 370-75, 2004.

83. Juho V. Data Mining Techniques Baseg on the Self Organized Map.

84. Kohonen T. Self-Organizing Maps (Third Extended Edition), New York, 2001, 501 pages.

85. Kohonen T. "Self-Organizing Maps", Springer, 1995.

86. Kohonen T. "Self-Organizing Maps"(2-nd edition), Springer, 1997.

87. Kosko. B. Neural Networks and Fuzzy Systems. A Dynamical Systems Approach to Machine Intelligence. Prentice Hall, Englewood Cliffs, 1992.

88. Metsis V. Spam Filtering with Naive Bayes // Third Conference on Email and Anti-Spam. USA, 2006.

89. Mikolajczyk K., Schmid C. A performance evaluation of local descriptors //IEEE Transactions on Pattern Analysis and Machine Intelligence. -2005.-V. 27,-No. 10.-P.1615 1630.

90. Mohamad H.Hassoun. Fundamentals of Artificial Neural Networks. MIT Press, Cambridge, Massachusetts, 1995.

91. Nigerian fraud mail Gallery. URL: http://www.potifos.com/fraud/

92. Raul Rojas Neural Networks A Systematic Introduction. — Springer-Verlag, Berlin, New-York: 1996. — C. 502.

93. Rish I. An empirical study of the naive Bayes classifier // IJCAI 2001 Workshop on Empirical Methods in Artificial Intelligence. 2001.

94. Serge Gauthronet and Etienne Drouard. Unsolicited commercial communications and data protection, 2001.

95. Shane Hird. Technical solutions for controlling spam. In proceedings of AUUG2002, September 2002.

96. Shen W. M. Distributed manufacturing scheduling using intelligent agents. IEEE Intelligent Systems, 17(1), 2002. 88-94.

97. Smola A., Schoelkopf B. A tutorial on support vector regression, 1998. URL: http://citeseer.ist.psu.edu/smola98tutorial.html.

98. Sutton, R. S. and Barto A. G. Reinforcement Learning: An Introduction. The MIT Press, Cambridge, MA, 1998.

99. Specht, D. Probabilistic Neural Networks. Neural Networks, 1990, 109-118.

100. Specht, D. A General Regression Neural Network. IEEE Trans, on Neural Networks, Nov. 1991, 568-576.

101. Specht, D. The General Regression Neural Network Rediscovered. Neural Networks, 1993, V.6, pp.1033-1034.

102. Swingler K., Applying Neural Networks, A Practical Guide, Academic Press, 1996.

103. Tuytelaars T., Mikolajczyk K. Local Invariant Feature Detectors: A Survey // Foundations and Trends® in Computer Graphics and Vision. 2008. -V. 3. - No 3, -"P. 177-280.

104. Vapnik V., Chapelle O. Bounds on error expectation for support vector machines // Neural Computation. 2000. Vol. 12, no. 9. Pp. 2013-2036. URL: http://citeseer.ist.psu.edu/vapnik99bounds.html.

105. Wolpert D.H. Stacked Generalization. Neural Networks, 1992, v.5, pp.241-259.

106. Yang Y. An Evaluation of Statistical Approaches to Text Categorization. // Journal of Information Retrieval, 1999 —V.l —p. 67—88.961.*N