Методы и алгоритмы классификации информации для защиты от спазма тема диссертации и автореферата по ВАК РФ 05.13.19, кандидат технических наук Блинов, Станислав Юрьевич

• Блинов, Станислав Юрьевич
• кандидат технических наук
• 2013

Оглавление диссертации кандидат технических наук Блинов, Станислав Юрьевич

Оглавление

Введение

Глава 1. Анализ тенденций и закономерности развития систем классификации информации

1.1 Анализ тенденций развития систем классификации

1.2 Основные методы классификации

1.2.1 Иерархический метод классификации

1.2.2 Фасетный метод классификации

1.2.3 Дескрипторный метод

1.2.4 Метод "ближайшего соседа" или системы рассуждений на базе аналогичных случаев

1.2.5 Многомерная классификация

1.3. Спам

1.3.1 Понятие о спаме

1.3.2 Спам без вложений

1.3.3 Спам с вложением

1.3.4 Многочисленные методы рассылки

1.3.5 Ущерб от спама спама

1.3.6 Методы борьбы со спамом

1.4 Выводы по главе

Глава 2. Постановка и алгоритмы решения задачи классификации

2.1 Математическая постановка задачи классификации

2.2 Обзор основных алгоритмов классификации

2.3. Метод опорных векторов

2.3.1 Основные преимущества БУМ

2.3.2 Основные недостатки 8УМ

2.3 Выводы по главе

Глава 3. Основные методы порождения и обнаружения поискового спама. Математические модели генерации неестественных текстов

3.1 Методы порождения поискового спама

3.2 Методы обнаружения поискового спама

3.3. Математические модели генерации неестественных текстов

3.4 Выводы по главе

Глава 4. Разработка и анализ метода классификации текстов на базе метода опорных векторов

4.1. Разработка алгоритма решения задачи защиты от спама при нестационарных данных на базе БУМ

4.2. Алгоритмы решения задачи сильной отделимости

4.3 Создание обучающей выборки

4.4 Признаки ссылочного спама

4.5 Алгоритм определения спамности документа

4.6 Выводы по главе

Глава 5. Результаты экспериментального исследования разработанного метода

5.1 Подготовка обучающей выборки

5.2 Результаты экспериментов

5.2.1 Полученные результаты и анализ первого эксперимента

5.2.2 Полученные результаты и анализ второго эксперимента

5.2.3 Полученные результаты и анализ третьего эксперимента

5.2.3 Результаты сравнения и анализ с Kaspersky Anti-Spam

5.2 Выводы по главе

Заключение

Список литературы

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы классификации информации для защиты от спазма»

Введение

Актуальность работы.

На современном этапе состояния общества информационные технологии (ИТ) породили все увеличивающийся поток разнородной информации. Основной задачей поисковых систем (поисковых машин) является предоставление качественных результатов, т.е. наиболее важных релевантных страниц. Для этого необходимо решать задачу классификации (classification problem). Поэтому теория, методы и алгоритмы классификации информации являются бурно развивающимся научным направлением.

Классификация информации в сетях, и в частности в сети Интернет, позволяет решать различные задачи, например: документооборот, автоматическое аннотирование и реферирование, машинный перевод, составление интернет-каталогов, ограничение области поиска в поисковых системах, определение кодировки и языка текста, классификация новостей и т.д.

В России активно развиваются системы автоматической классификации текста и специализированные системы полнотекстового анализа, позволяющие производить автоматическую классификацию и реферирование текстов, например, "Следопыт", "ТекстАналист" и другие.

Одной из важнейших проблем, встающей практически перед каждым пользователем Интернет, является борьба со спамом, то есть задача фильтрации (классификации) поступающей информации.

Кроме того, в связи с бурным ростом объема информации в сети Интернет поисковые машины стали основным средством для эффективного доступа к ней. Задача поисковой машины - на каждый поисковый запрос выдавать ранжированный набор страниц, наиболее соответствующих запросу. Мера соответствия страницы запросу,

называемая релевантностью, вычисляется на основе характеристик страниц и запросов. Некоторые владельцы сайтов пытаются повлиять на работу поисковых машин, чтобы повысить релевантность страниц. Это явление получило название поискового спама.

В настоящее время существуют технологии создания фильтров-сервисов отсекания навязываемой информации. Их принято разделять на два класса: настраиваемые вручную и автоматизированные. Технологии из первого класса применяют списки доступа и настраиваются пользователем, выбирающему или запрещенные, при политике «черного списка», или разрешенные, при политике «белого списка», адреса. Но такие разделения навязываемой информации неэффективны так как необходимо частое обновление списков доступа. Кроме того, ручная категоризация неприменима, если необходимо классифицировать большой объем информации за ограниченное время.

Применение автоматизированных технологий фильтрации основано на использовании методов распознавания образов, искусственного интеллекта, применении математической статистики и т.д.

Фильтрам, созданным с применением теории искусственного интеллекта, обучение необходимо лишь в самом начале. Они, в процессе эксплуатации, дообучаются самостоятельно. При этом заметно снижается нагрузка пользователя.

Одной из самых используемых технологий построения фильтров, является технология, базирующаяся на байесовском подходе (наивный байесовский классификатор), в котором предполагается, что у термов сообщения отсутствует корреляция друг с другом. По опубликованным оценкам, байесовские фильтры могут отфильтровать до 97% спама.

Увеличить эффективность таких фильтров можно, если учесть семантические связи у термами. Но это потребует применения методов

семантического анализа, что вызовет увеличение нагрузки на систему, то есть приведет к изменению времени обработки документов фильтром.

Для повышения эффективности таких фильтров требуется учет семантических связей между термами, а это требует применения методов семантического анализа, что достаточно увеличивает нагрузку на систему, увеличивая время работы самого фильтра, при небольшом увеличении эффективности фильтрации.

Таким образом, исходя из вышесказанного, существует потребность в разработке новых методов и алгоритмов классификации информации для решения задачи фильтрации нежелательных сообщений, что подтверждает актуальность темы диссертационной работы.

Все вышесказанное определило цели и задачи диссертационного исследования.

Целью диссертационной работы является повышение эффективности фильтрации информации в сети Интернет с использованием разработанных методов и алгоритмов.

Для достижения поставленной цели в диссертационном исследовании были сформулированы и решены следующие задачи:

• Разработка и анализ алгоритмов детектирования текстового спама на базе машинного обучения.

• Исследование моделей массово создаваемых неестественных текстов.

• Разработка и реализация метода построения разделяющей гиперплоскости в гильбертовом пространстве на основе фейеровского отображения для решения задачи сильной отделимости.

• Разработка системы классификации информации в Интернете, удовлетворяющей следующим условиям:

-точность и полнота обнаружения спам-документов; - применимость к различным естественным языкам.

Объектом исследования методы и модели классификации информации в Интернете.

Методы исследования. Решение вышеперечисленных задач происходит с применением методов теории защиты информации, системного и структурного анализа, функционального анализа и методов математического моделирования.

Научная новизна диссертационного исследования состоит в разработке моделей построения обучающей выборки и методов обнаружения спам-документов.

Положения, выносимые на защиту:

1. Математические модели построения обучающей выборки.

2. Метод построения разделяющей гиперплоскости обучающей выборки на базе фейеровского отображения;

3. Алгоритм классификации документов.

Практическая значимость заключается в том, что полученные в диссертации результаты исследований могут быть использованы при разработке классификаторов информации в Интернет, позволяющих производить обнаружения спам-документов. Разработанная система моделей и механизмов их реализации позволяет сформировать рациональный классификатор в соответствии с предложенными функциональными критериями и ограничениями.

Достоверность научных результатов и обоснованность научных положений, выводов и рекомендаций обеспечена полнотой анализа теоретических и практических исследований, положительной оценкой на научных конгрессах, конференциях и семинарах, практической проверкой и внедрением полученных результатов исследований на ряде предприятий.

Апробация работы. Основные положения диссертационного исследования докладывались и обсуждались на международных конгрессах и конференциях различного уровня: Всероссийская научно-

практическая конференции с международным участием. Йошкар-Ола: Марийский государственный технический университет, 2012; 1-ый Международный симпозиум "Гибридные и синергетические интеллектуальные системы: теория и практика". Россия, Калининград, БФУ им. И.Канта, 2012; Международный конгресс по интеллектуальным системам и информационным технологиям AIS-IT'12. Россия, Дивноморское (Геленджик), 2012.

Результаты исследований реализованы в СПб НИУ ИТМО и используются в учебном процессе при проведении занятий по дисциплинам: «Защита информации», «Информационная безопасность», «Информационная безопасность и защита информации».

Публикации. По тематике диссертации опубликовано девять работ, в том числе три работы входят в список рекомендованных ВАК для защиты кандидатских диссертаций.

Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают персональный вклад автора в опубликованные работы.

Структура и объем работы. Диссертация состоит из введения, 5 глав, заключения, изложенных на 98 листах машинописного текста, содержит 14 рисунков и 11 таблиц. Список литературы включает 62 наименования.

Заключение диссертации по теме «Методы и системы защиты информации, информационная безопасность», Блинов, Станислав Юрьевич

5.2 Выводы по главе

1. Система фильтрации спам-документов на основе разработанного метода допускает ошибку первого рода (ложное срабатывание) в пределах 1.86%.

2. Система фильтрации спам-документов на основе разработанного метода допускает ошибку второго рода (пропуск события) в пределах 4.83 %.

3. Для уменьшения ошибок первого и второго рода необходимо увеличивать мощность обучающей выборки.

4. Разработанная система уступает по эффективности одному из мировых лидеров. Но это отставание можно уменьшить за счет дообучения обучающей выборки.

Заключение

В заключении приведем основные результаты диссертационной работы:

1. Определены основные тенденции и закономерности развития систем классификации информации. Показано, что разработка систем классификации информации, используя различные подходы, является актуальной задачей.

2. Проведен анализ на предмет использования различных подходов при разработке систем классификации спама.

3. Проведен анализ математических моделей массово порождаемых неестественных текстов.

4. Разработан и реализован. метода построения разделяющей гиперплоскости в гильбертовом пространстве на основе фейеровского отображения для решения задачи сильной отделимости.

5. Разработаны математические модели построения обучающей выборки.

6. Реализован спам-фильтр на основе разработанного метода. Испытания на реальном почтовом ящике показали, что разработанная система допускает ошибку первого рода (ложное срабатывание) не больше 1.86 % и допускает ошибку второго рода (пропуск события) не больше 4.83 %.

В заключении можно сказать о дальнейшем направлении исследований.

Разработанный алгоритм определения спамности документа, или классификации, конечно же имеет свои недостатки. Это видно из анализа проведенных экспериментов. Но попытка построить для решения задачи классификации один алгоритм, удовлетворяющих всех, заранее обречена на провал. Поэтому есть идея, в основе которой лежит композиционное объединение нескольких алгоритмов. В этом случае возможна компенсация погрешности разных алгоритмов. Но сразу возникает много проблем, строя такие композиции. Например, при каких условиях качество композиции окажется лучше, чем у отдельных базовых алгоритмов? Как настроить базовые алгоритмы, считая, что они будут функционировать в составе композиции? Можно ли использовать для их настройки стандартные методы обучения? Какое минимальное число базовых алгоритмов?

Формально, эти вопросы можно записать следующим образом.

Пусть имеется задача обучения по прецедентам {X, У,у*,Х*, У1}, где Х- множество объектов;

V — множество ответов; у : X—> У— отображение (неизвестная целевая зависимость);

X1 = (хь ., х/) - обучающая выборка;

VI = (уь ., у>1) - вектор ответов на обучающих объектах, у{ = у (х;).

Требуется построить алгоритм X —> У, аппроксимирующий целевое отображение у на множестве X.

Введем так называемое пространство оценок Я [62]. Рассмотрим алгоритмы, которые представляются в виде суперпозиции: аШ = П(Ъ(х)\ где Ъ : X —» Я алгоритмический оператор, ПЯ —* У-решающее правило.

Как можно заметить, первая часть формулировки с точностью до обозначений, совпадает с поставленной в 2.1 задачей.

Достаточно много классификационных алгоритмов обладают именно такой структурой: на первом шаге определяется оценку принадлежности объекта соответствующим категориям (классам), а после этого, используя решающее правило, переводят эти оценки в конкретный класс. Величина оценки, обычно, показывает степень надежности классификации. Одни алгоритмы используют это вероятность принадлежности объекта заданной категории, а другие пользуются расстоянием от объекта до разделяющей гиперплоскости. Можно применять и другие оценки для интерпретации.

В работе был использован вариант (раздел 4.5): Г= {-1,+1}, ГЦг) = 81§п(г), а^(х) = Ф'(х) = sign( + Ь).

Так вот, разработкой теоретических положений построения аШ = П(Ь{х)) и будут посвящены дальнейшие научные исследования, которые позволят повысить эффективность фильтрации спама.

Список литературы диссертационного исследования кандидат технических наук Блинов, Станислав Юрьевич, 2013 год

Список литературы

1. Sebastiani Fabrizio. Machine learning in automated text categorization Journal ACM Computing Surveys. 2002. Vol. 34,1.

2. Айвазян С. А., Бухштабер В. M., Енюков И. С., Мешалкин Л. Д. Прикладная статистика: классификация и снижение размерности. — М.: Финансы и статистика, 1989.

3. Кострикин А.И. Введение в алгебру. Часть Т. Основы алгебры. Учебник для вузов. М.: Физико-математическая литература, 2000, 272 стр.

4. Воронин Ю.А. Введение в теорию классификации. Новосибирск ВЦ СО АН СССР, 1982, 194 с. ил. 20.

5. Любищев A.A. Проблемы систематики // Проблемы эволюции. T. I. Новосибирск, 1968. - С. 7 - 29.

6. Любищев A.A. К логике систематики // Проблемы эволюции. T. II. Новосибирск, 1972. - С. 45 - 68.

7. Мейен C.B., Шрейдер Ю.А. Методологические аспекты теории классификации // Вопросы философии. 1976. № 12. - С. 67 - 79.

8. Розова С.С. Классификационная проблема в современной науке. Новосибирск : Наука, 1986. - 223 с.

9. М.С. Агеев, Б.В. Добров, Н.В. Лукашевич. Поддержка системы автоматического рубрицирования для сложных задач классификации текстов. // Труды 6-ой Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» - RDCL2004, Пущино, Россия, 2004.

10. Блинов С.Ю., Коробейников А.Г., Кувшинов С.С., Лейман A.B. Анализ принципов создания и работы стеганографических алгорит-мов//Программные системы и вычислительные методы. - Москва: М: "НБ-Медиа", 2012.-Вып. l.-№ 1.-Модели и методы управления информационной безопасностью. - С. 28 - 36. - 102 с. - ISSN 2305-6061.

11. Информационные системы в экономике: Учеб. Пособие / Под ред. Проф. Д.В. Чистова. - М.:ИНФРА-М, 2009. - 234 с.

12. Балдин К.В., Уткин В.Б. информационные системы в экономике: Учебник. - 5-е изд. - М.: «Дашков и К », 2008. - 395 с.

13. D. Davidov, Е. Gabrilovich, S. Markovitch. Parameterized Generation of Labeled Datasets for Text Categorization Based on a Hierarchical Directory // Proceedings of the 27th annual international ACM SIGIR conference on Research and development in information retrieval, Sheffield, UK, 2004.

14. Блинов С.Ю., Коробейников А.Г., Лейман A.B., Демина Е.А. Систематизация разнородной информации в задаче фильтрации спама// В книге "Труды конгресса по интеллектуальным системам и информационным технологиям AIS-IT'12. Научное издание в 4-х томах. М.:Физматлит, 2012, - Т.2. стр. 18-22.

15. Ранганатан Ш. Р. Классификация двоеточием: основная классификация. Пер. с англ. / Под. ред. Т. С. Гомолицкой, Х.М. Зайдберга и П.И. Шифман. -М.: ГПНТБ СССР, 1970 - 421 с.

16. Abidin, Т. and Perrizo, W. SMART-TV: A Fast and Scalable Nearest Neighbor Based Classifier for Data Mining. Proceedings of ACM SAC-06, Dijon, France, April 23-27, 2006. ACM Press, New York, NY, pp.536-540.

17. Wang, H. and Bell, D. Extended k-Nearest Neighbours Based on Evidence Theory. The Computer Journal, Vol. 47 (6) Nov. 2004, pp. 662-672.

18. Yu, K. and Ji, L. Karyotyping of Comparative Genomic Hybridization Human Metaphases Using Kernel Nearest-Neighbor Algorithm, Cytometry 2002.

19. Domeniconi, C., and Yan, B. On Error Correlation and Accuracy of Nearest Neighbor Ensemble Classifiers. Proceedings of the SIAM International Conference on Data Mining, Newport Beach, California, April 21-23, 2005.

20. Gyongyi, Z., Garcia-Molina, H. Web Spam Taxonomy // Proceedings of the 1st International Workshop on Adversarial Information Retrieval on the Web, May 2005.

21.«Лаборатория Касперского». Спам-статистика за первый квартал 2012 г. httD://www.securelist.com/ru/analvsis/208050754/Spam v_pervom_kvartale_20 12#2

22. Dhinaharan Nagamalai, Beatrice Cynthia Dhinakaran, Jae-Kwang Lee: Multi layer Approach to defend DDoS attacks caused by Spam, IEEE MUE 07, pp 97-102, April 2007.

23. Anirudh Ramachandran, Nick Feamster : Understanding the network level behaviour of spammers,SIGCOMM 06, September ,2006. 11-16.

24. Jae Yeon Jung, Emil sit: An empirical study of spam traffic and the use of DNS Black lists, ACM SIGCOMM Internet measurement conferences, pp 37075, 2004.

25. Nigerian fraud mail Gallery. URL: http://www.potifos.com/fraud/

26. Serge Gauthronet and Etienne Drouard. Unsolicited commercial communications and data protection, 2001.

27. Mikolajczyk K., Schmid C. A performance evaluation of local descriptors //IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2005. - V.

27. - No. 10, - P.1615 - 1630.

28. Гришков M. OpenBSDZ/Системный администратор-2008.-№ 8.-C.60-63.

29. Никрасов А.Т. Антиспамовые фильтры // Компьютер Пресс. - 2005. -№2.-С. 9-15.

30. Супрунов С. AHTHBipyc + Антиспам Dr. Web для почтовых серверов UNIX // Системный администратор. - 2007. - № 6. - С. 54-55.

31. Шляхтина С. Обзор защиты от вирусов и других вредоносных программ // Компьютер Пресс. - 2006. - № 10. - С. 13-15.

32. Блинов С.Ю., Коробейников А.Г., Кувшинов С.С., Лейман A.B., Нестеров С.И. Разработка стеганоалгоритма на базе форматных и пространственных принципов сокрытия данных//Научно-технический вестник информационных технологий, механики и оптики - СПб: СПБНИУ ИТМО, 2012, 1(77)- с.116 - 119.

33. Методы распознавания спама. URL: http://exorlus.ru/borba_spam_2.php

34. Доля А. Тенденции развития спама и средства борьбы с ним // Компьютер Пресс. -2006. - № 10. - С. 4-7.

35. Блинов С.Ю., Коробейников А.Г., Лейман А.В.Методы систематизации разнородной информации для задачи фильтрации спама//Информационные технологии в профессиональной деятельности и научной работе: сборник материалов Всероссийской научно-практической конференции с международным участием: в 2 ч. - Йошкар-Ола: Марийский государственный технический университет, 2012. - Т. 1. - С.20-24. - 232 с. - ISBN 978-58158-1002-0.

36. Блинов С.Ю., Коробейников А.Г., Лейман A.B., Демина Е.А. Систематизация разнородной информации в задаче фильтрации спама// В книге "Труды конгресса по интеллектуальным системам и информационным технологиям AIS-IT'12. Научное издание в 4-х томах. М.:Физматлит, 2012,-Т.2. стр. 18-22.

37. Carl Eklund: Spam -from nuisance to Internet Infestation, Peer to Peer and SPAM in the Internet Raimo Kantola's technical report, 126-134, 2004.

38. Back. A. Hashcash, May 1997. URL: http://www.cypherspace.org/hashcash.

39. Shane Hird. Technical solutions for controlling spam. In proceedings of AUUG2002, September 2002.

40. Edgar E.Peters. Fractal Market Analysis: Applying Chaos Theory to Investment and Economics. Wiley Finance, 1994.

41. «Лаборатория Касперского»: технология фильтрации спама. URL: http://www.spamtest.ru.

42. Блинов С.Ю., Коробейников А.Г., Лейман А.В., Святкина М.Ы. Мониторинг объектов на базе мультиагентных систем интеллектуальных агентов магнитных измерений.//Материалы 1-го Международного симпозиума "Гибридные и синергетические интеллектуальные системы: теория и практика". Изд-во БФУ им. И.Канта, 2012. - Т. 2. - С. 155-160. -444 с. - ISBN 978-5-9971-0212-8.

43. Лифшиц Ю. Классификация текстов Алгоритмы для Интернета. 2005. URL: http://yury.name/internet

44. Chakrabarti S. Mining the Web: Discovering Knowledge from Hypertext Data. 2003.

45. Boser В., Guyon I., Vapnik V. A training algorithm for optimal margin classifiers// Proc. of the 5th Annual ACM Workshop on Computational Learning Theory. Pittsburgh: ACM Press, 1992. 144 -152.

46. Almeida, M. В., Braga, A. P., Braga, J. P.: SVM-KM: speeding SVMs learning with a priori cluster selection and k-means. In: Proceedings of the 6th Brazilian Symposium on Neural Networks, 2000. 162-167.

47. Burges C.J.C. A tutorial on support vector machines for pattern recognition. // Data Mining and Knowledge Discovery, 1998. — p. 955-974.

48. Jakub Piskorski, Marcin Sydow and Dawid Weiss, Exploring Linguistic Features for Web Spam Detection: A Preliminary Study. In Proceedings of the 4th international workshop on Adversarial Information Retrieval on the Web, Beijing, China, Pages 25-28.

49. Osuna E., Freund R., Girosi F. An improved training algorithm for support vcctor machines // Neural Networks for Signal Processing VII. IEEE Workshop. — 1997. — Pp. 276-285. http://citeseer.ist.psu.edu/osuna97improved.html.

50. G. Mishne, D. Carmel, and R. Lempel. Blocking blog spam with language model disagreement. In Proceedings of AIRWeb 2005, May 2005.

51. Tanguy Urvoy, Emmanuel Chauveau, and Pascal Filoche, Tracking Web Spam with HTML Style Similarities. ACM Transactions on the Web, Vol. 2, No. 1, Article 3.

52. Braslavski P., Document Style Recognition Using Shallow Statistical Analysis. In Proceedings of the ESSLLI 2004 Workshop on Combining Shallow and Deep Processing for NLP, Nancy, France, 2004, p. 1-9.

53. D. Fetterly, M. Manasse, and M. Najork. Detecting phrase-level duplication on the World Wide Web. In Proceedings of SIGIR'05, pages 170-177, New York, NY, USA, 2005. ACM.

54. Frye. R.C. Adaptive neural network algorithms for computing proximity effect corrections. J.Vac.Sci.Technol. B, V.9, n.6, Nov/Dec 1991, pp.3054-3058

55. Ю.Г. Зеленков, И.В. Сегалович, Сравнительный анализ методов определения нечетких дубликатов для Web-документов // Труды 9ой Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» -RCDL'2007, Переславль, Россия, 2007. - Том 1, С. 166-174.

56. Романов А. С., Мещеряков Р. В. Идентификация автора текста с помощью аппарата опорных векторов // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции. Диалог 2009, (Бекасово, 27-31 мая 2009 г.). Вып.8 (15). — М.: РГГУ, 2009. — С. 432-437.

57. Ерёмин И.И., Мазуров Вл.Д. Нестационарные процессы математического программирования. -М.: Наука, 1979. -288 с.

58. Еремин И.И. Теория линейной оптимизации. -Екатеринбург: УрО РАН, 1999. -312 с.

59. Нурминский Е.А. Использование дополнительных малых воздействий в фейеровских моделях итеративных алгоритмов // Ж. вычисл. матем. и матем. физ. 2008. Т. 48. № 12. С. 2121-2128.

60. Блинов С.Ю., Коробейников А.Г., Лейман A.B., Маркина Г.Л., Кутузов И.М. Разработка алгоритма определения спамности документов на основе фейеровских отображений//Научно-технический вестник информационных технологий, механики и оптики - СПб: СПБНИУ ИТМО, 2012, 6(82)- с. 123 - 127.

61.Блинов С.Ю., Коробейников А.Г., Сидоркина И.Г., Лейман A.B. Алгоритм классификации информации для решения задачи фильтрации нежелательных сообщений/УПрограммные системы и вычислительные методы.-Москва: М:"НБ-Медиа",2012.- Вып.1.-№ 1.-Математическое и программное обеспечение новых информационных технологий. - С. 89-95.102 с.-ISSN 2305-6061.

62. Журавлёв Ю. И. Об алгебраическом подходе к решению задач распознавания или классификации // Проблемы кибернетики. - 1978. - Т. 33. - С. 5-68.