Конструктивное обучение алгебраических ΣП-нейронных сетей и корректные ΣП-расширения тема диссертации и автореферата по ВАК РФ 05.13.17, доктор физико-математических наук Шибзухов, Заур Мухадинович

• Шибзухов, Заур Мухадинович
• доктор физико-математических наук
• 2007

Оглавление диссертации доктор физико-математических наук Шибзухов, Заур Мухадинович

ВВЕДЕНИЕ

1. Краткое введение и исторический обзор 6 Обучение Е-нейрона 6 Многослойные искусственные нейронные сети из искусственных Е-нейронов. 9 Конструктивные методы обучения сетей из Е-нейронов 11 ЕП-нейроны 13 Алгебраические ЕП-нейроны 15 Функционально-алгебраические ЕП-нейроны 17 Алгебраические ЕП-нейромодули 19 ЕФ-нейроны и ЕФ-нейромодули 20 Рекуррентные ЕП-нейроны и ЕП-нейромодули 22 Каскадные сети из алгебраических ЕП-нейронов. 22 Многослойные сети из алгебраических ЕП-нейронов. 23 Корректные алгебраические 2Ш-расширения. 23 Последовательные 17Ф-расширения.

2. Конструктивный метод обучения искусственных нейронных сетей

3. Архитектуры конструктивных нейронных сетей 26 Конструктивный нейрон 26 Конструктивный рекуррентный нейрон 27 Параллельный слой независимо функционирующих нейронов 27 Конструктивный нейромодуль 28 Конструктивный нейромодуль с обратными связями 29 Каскадная цепочка нейронов 30 Каскадная цепочка нейромодулей ч 31 Многослойная нейронная сеть

4. Краткий обзор содержания и основных результатов диссертационной работы 32 Основные результаты диссертации выносимые на защиту

Глава 1. ПРОСТЫЕ ЕФ/Ш-СЕТ1Л

1. Алгебраический ЕФ-нейрон

1.1. Алгебраический Е-нейрон

1.2. Алгебраический ЕФ-нейрон

1.3. Треугольно упорядоченные последовательности функций

1.4. Постановка задачи обучения с учителем ЕФ-нейрона

1.5. Рекуррентные последовательности ЕФ-форм и ЕФ-нейронов

1.6. Некоторые семейства условно конструктивных классов допустимых функций.

1.7. Методы построения существенных мультииндексов

4 2. Алгебраические ЕП-нейроны

2.1. Алгебраический ЕП-нейрон

2.2. Структура ЕП-нейрона

3. Обобщенный ЕП-нейрон

3.1. Упорядоченные по нулям последовательности разреженных векторов

3.2. Треугольно-упорядоченные последовательности произведений

3.3. Метод построения существенных мультииндексов

3.4. Рекуррентный метод конструктивного обучения с учителем ЕП-нейрона

4. Алгебраический ЕП^-нейрон

4.1. ^—упорядоченные последовательности векторов.

4.2. Методы построения существенных мультииндексов

4.3. Треугольно упорядоченные последовательности произведений параметризованных скалярных функций.

4.4. Рекуррентный метод обучения с учителем ЕП^-нейрона

5. Алгебраический сплайновый ЕП-нейрон

5.1. ^-упорядоченные последовательности векторов

5.2. Треугольно ^-упорядоченные пары последовательностей

5.3. Треугольно упорядоченные последовательности функций

5.4. Рекуррентный метод обучения алгебраического ЕП^-нейрона

6. Метод обучения обобщенных функций полиномиального типа

7. Алгебраческие ЕП-нейромодули

7.1. Алгебраический ЕФ-нейромодуль.

7.2. Рекуррентный метод обучения с учителем ЕФ-нейромодулей

7.3. ЕП-нейромодули

7.4. Рекуррентный метод обучения с учителем ЕП-нейромодулей

Глава 2. ПРОСТЫЕ РЕКУРРЕНТНЫЕ ЕФ/ЕП-СЕТИ

1. Рекуррентный ЕП-нейрон

2. Обучение с учителем рекуррентного алгебраического ЕП-нейрона

3. Рекуррентный сплайновый ЕП-нейрон 107 3.1. Обучение с учителем рекуррентного сплайнового ЕП-нейрона

4. Рекуррентный ЕФ-нейрон 110 4.1. Обучение с учителем рекуррентного ЕФ-нейрона

5. Рекуррентный ЕП-нейромодуль 112 5.1. Обучение с учителем рекуррентного ЕП-нейромодуля

6. Рекуррентный ЕФ-нейромодуль 115 6.1. Обучение с учителем рекуррентного ЕФ-нейромодуля

Глава 3. КАСКАДНЫЕ ЕФ/ЕП-СЕТИ

1. Каскадная цепочка ЕФ-нейронов 120 4) 1.1. Конструктивный метод обучения с учителем каскадной цепочки ЕФнейронов

2. Каскадная цепочка ЕП-нейронов 3. Каскадная цепочки ЕП-нейронов с фиксированной глубиной связей

3.1. Рекуррентный метод конструктивного обучения с учителем

4. Последовательные цепочки ЕП-нейромодулей

Глава 4. МНОГОСЛОЙНЫЕ 17Я-СЕТИ

1. Конструктивный метод обучения многослойных сетей из ЕП-нейронов

1.1. Слой из ЕП-нейронов с логическими входами и логическим выходом

Глава 5. КОРРЕКТНЫЕ ГЯ-РАСШИРЕНИЯ ОДНОГО ДОПУСТИМОГО

КЛАССА АЛГОРИТМОВ

1. ЕП-расширения 137 Выводы.

2. Последовательности ЕФ-расширений множеств некорректных распознающих алгоритмов 141 Выводы.

Выводы

Введение диссертации (часть автореферата) на тему «Конструктивное обучение алгебраических ΣП-нейронных сетей и корректные ΣП-расширения»

Искусственные нейронные сети (НС) являются основой обработки информации в нейроинформатике. По своей структуре и функционированию они являются искусственными аналогами биологических нейронных систем человека и животных. НС представляют парадигму обработки информации, базирующуюся на некоторой упрощенной математической модели биологических нейронных систем.

Попытки реализации нейронных сетей для вычислений, имитирующих интеллектуальные процессы в человеческом мозге такие, как распознавание образов, принятие решений, управление движением, обработка изображений и многие другие стали возможны с появлением первых компьютеров. Можно сказать, что они, в определенном смысле, стимулировали их появление. В то же время, НС представляют новый подход в методологии вычислений, отличающийся от вычислений в цифровых компьютерах.

Цифровые компьютеры функционируют под управлением программы — точно заданной последовательности действий, запоминают информацию в специально организованной памяти. Весь процесс вычислений организуется сложными процессорными устройствами. НС организуют свою работу путем распределения процесса обработки информации между относительно простыми локальными процессорными элементами, связанными между собой посредством связей. Запоминаемая информация распределяется по сети в виде весовых параметров связей, а развитие "способностей" НС осуществляется не путем программирования, как в цифровых компьютерах, а путем обучения по примерам.

Первоначально НС развивались для имитации таких видов человеческой деятельности по обработки информации, как речь, зрение и обработка знаний. Однако, они оказались также эффективными в задачах классификации и приближения функций. Они показали высокий потенциал при решении таких сложных задач, как управление и идентификация систем, сжатие данных, распознавание образов, прогнозирование и оптимизация.

Искусственная НС представляют собой сеть элементарных процессорных элементов (или искусственных нейронов), связанных между собой по входам и выходам при помощи настраиваемых связей. Каждый искусственный нейрон вычисляет некоторую элементарную функцию от своих входов. Информационные каналы, которыми связаны между собой искусственные нейроны, передают вычисленные значения от одних нейронов к другим. Искусственный нейрон может иметь много входов, но только один выход, который, однако, в результате разветвлений может передаваться по информационным каналам другим искусственным нейронам. Обычно каждая связь между нейронами характеризуется скалярной величиной, которую обычно называют весом. Она показывает в какой степени может измениться (увеличиться или уменьшиться) сигнал перед его поступлением на вход нейрона. Поэтому обычно искусственные нейронные сети представляют при помощи размеченных направленных графов. Узлы графа соответствуют нейронам, а ребра соответствуют связям между нейронами. Каждый нейрон обрабатывает поступившую к нему на вход информацию локально и независимо от других нейронов. Такая модель вычислений содержит в себе потенциальные возможности для массивного параллелизма и устойчивости по отношению к отказам отдельных ее элементов в процессе обработки информации.

Искусственные нейронные сети успешно обучаются для решения таких задач, как распознавание образов, запоминание и ассоциативный поиск, аппроксимация функций, оптимизация и др. Обычно обучение искусственной нейронной сети сводится к настройке весов связей между нейронами. Алгоритм обучения нейронной сети, как правило, представляет собой систематическую процедуру установки и изменения весов связей обучаемой нейронной сети. Способность искусственных нейронных сетей к обучению кардинально отличает их от традиционных компьютеров как однопроцессорных, так и много процессорных. Составной частью типичного сценария обучения является обучающее множество входных образов сети. Каждый такой образ является описанием некоторого объекта и представляет собой вектор значений скалярных признаков. В процессе обучения веса связей нейронов изменяются на основе значений, полученных на выходе нейронной сети, а также на основе возможного отклика окружения искусственной нейронной сети в ответ на значения, вычисленные ею.

Существуют различные точки зрения на технологию НС. Часто их называют коннекционистскими системами, акцентируя внимание на связях между процессорными элементами. Часто адаптивными системами, в следствии способности к адаптации в зависимости от целей. Часто они называются параллельными распределенными системами, отражая особенности способа организации и обработки информации между процессорными элементами. В целом же они обладают всеми перечисленными свойствами.

Теория нейронных сетей развивается в рамках различных дисциплин: первоначально - неврологии, а затем - математического моделирования, информатики и машиностроения, а также физики, психологии и лингвистики. Все эти теории в конечном итоги направлены на создание искусственных интеллектуальных систем. Отметим, что хотя большинство понятий и идей, связанных с НС, заимствованы из биологических источников, НС не являются адекватными моделями мозга человека. Модели НС, как системы обработки информации, лишь отражают их основные свойства (наши упрощенные представления о структуре и функционировании мозга человека и животных) % и обладают некоторыми способностями по обработке информации, присущими природным нейронным системам.

Заключение диссертации по теме «Теоретические основы информатики», Шибзухов, Заур Мухадинович

Выводы

В диссертационной работе разработаны новые теоретически обоснованные конструктивные методы и адаптивные алгоритмы обучения и оптимизации сложности большого класса алгебраических сигма-пи НС для параллельной и последовательно-параллельной обработки информации, который включает в себя класс алгебраических ЕП-нейронов (в том числе с обратными связями) и его обобщение — класс алгебраических ЕФ-нейронов; класс алгебраических ЕП-нейромодулей (в том числе с обратными связями) с параллельным и конкурирующим функционированием и его обобщение — класс алгебраических ЕФ-нейромодулей; класс последовательно-параллельных ИНС с каскадной архитектурой из ЕП-нейронов или ЕП-нейромодулей и его обобщение — класс последовательно-параллельных НС с каскадной архитектурой из ЕФ-нейронов или ЕФ-нейромодулей; класс многослойных параллельных ИНС из ЕП-нейронов и ЕП-нейромодулей и его обобщение — класс класс многослойных параллельных ИНС из ЕФ-нейронов и ЕФ-нейромодулей. Исследованы и теоретически обоснованы конструктивные методы построения корректных расширений некоторых классов некорректных (эвристических) распознающих алгоритмов при помощи алгебраических ЕФ/ЕП-операторов в контексте алгебраического подхода к задачам распознавания и прогнозирования на основе применения конструктивных методов обучения ИНС.

Список литературы диссертационного исследования доктор физико-математических наук Шибзухов, Заур Мухадинович, 2007 год

1. Т. Ash. Dynamic node creation in back-propagation network. 1.S Report 8901, Institute for Cognitive Science, University of Califirnia, San Diego, La Jolla, CA 92093, USA, 1989.

2. A.E. Bryson and Y.C. Ho. Applied Optimal Control. Blaisdell, New York, 1969.

3. N. Burgess. A constructive algorithm that converges for real-valued input patterns, international Journal of Neural Systems, V.5, №1, PP.59-66, 1994.

4. G. Cybenko. Approximation by superpositions of sigmoidal functions. Mathematics of Control, Signals and Systems, №2, PP.303-314, 1989.

5. S. Dreyfus. The numerical solution of variational problems. Journal of Mathematical Analysis and Applications, 51(l):30-45, 1962.

6. R.O. Duda, P.E. Hart. Pattern Classification and Scene Analysis. Willey, New-York, 1973.

7. R. Durbin, D.E. Rumelhart. Product units: A computationally powerfull and biologically plausible extension to backpropagation networks. Complex Systems, V.f, №133, 1989.

8. S.E. Fahlman. An empirical study of learning speed in back-propagation networks. Technical report CMU-CS-88-162, Carnegie-Mellon University, 1988.

9. К 9. S.E. Fahlman, C. Liberiere. The cascade-correlation learning architecture. Technical Report CMU

10. CS-90-100, School of Computer Science, Carnegie Mellon University, Pittsburg, PA 15213, USA, 1990.

11. S.E. Fahlman and C. Liberiere. The cascade-correlation learning architecture. In D. Touretsky, editor, Advances in NIPS2, PP.524-532. Morgan Kaufmann, 1990.

12. J.A. Feldman, D.H. Ballard. Connectionist models and their properties. Cognitive Science, №6, PP.205-254, 1982.

13. M. Frean. Small Nets and Short Path: Optimizing Neural Computation. PhD dissertation. PhD thesis, Center for Cognitive Science. Edinburgh University, Edinburgh. Scotland, 1990.

14. M. Frean. The upstart algorithm: A method for constructing and training feed-forward neural networks. Neural Networks, №.2, PP.198-209, 1990.

15. M. Frean. A thermal perceptron learning rule. Neural computation, №4, PP.946-957, 1992.

16. K. Funahashi. On approximate realization of continous mapping by neural networks. Neural Networks, V.2, PP.183-192, 1989.

17. S. Gallant. Perceptron based learning algorithms. IEEE Transactions on Neural Networks, V.2, №1, PP. 179—191, 1990.

18. S. Gallant. Neural Network Learning Algorithms. MA. MIT Press, Cambridge, 1993.

19. M. Garey, D. Johnson. Computers and Intractability. W.H. Freeman, New York, 1979.

20. C.L. Giles, T. Maxwell. Learning, invariance and generalization in high-order neural networks. Applied Optics, V.26, №23, PP.4972-4978, 1987.20. , M.N. Stone. The Generalized Weierstrass Approximation Theorem 11 Math. Mag., 1948, Vol.21, PP. 167-183.

21. X. Шефер. Топологические векторные пространства. В: М.: Мир. 1971 - 360с.

22. S.E. Gilev, A.N. Gorban. On completness of the class of functions computable by neural networks.

23. Proceedings of the World Congress on Neural Networks (WCNN'96), PP.984-991, 1996.

24. K.N. Gurney. Training nets of hardware relaizable sigma-pi units. Neural Networks, №¡5, PP.289303, 1992.

25. T. Hrycej. Modular Leaning Neural Networks. Wiley, New-York, 1992.1 25. H. White K. Hornik, M. Stinchcombe. Multilayer feedforward networks are universal approximators.

26. Neural Networks, №2, PP.359 366, 1989.

27. N. Kailath K-Y. Siu, V. Roychowdhury. Descrete Neural Computation a Theoretical Foundation.

28. Prentice-Hall. Englewood Cliffs. NJ., 1995.

29. D.A. Kochenov, D.A. Rossiev. Approximations of functions of ca,b] class by neural net predictors (architectures and results). AMSE Transactions, Scientific Siberian A., Neurocomputing, №6, PP. 189-203, 1993.

30. Ц 28. M. Marchand, M. Golea, P. Rujan. A convergence theorem for sequential learning in two-layerperceptron. Europhysics Letters, V.I 1, №¿6, PP.487-492, 1990.

31. B.W. Mel. The sigma-pi column: A model of associative learning in cerebral neocortex. California institute of technology, ens memo no. 6. Technical report, Pasadena, California 91125, 1990.

32. M. Mezard, J. Nadal. Learning feed-forward networks: The tiling algorithm. J. Phys. A: Math. Gen., №22, PP.2191-2203, 1989.

33. J. Minsky, S. Papert. Perceptions: An Introduction to Computational Geometry. MA. MIT Press, Cambridge, 1969.

34. N,J. Nilsson. The Mathematical Foundations of Learning Mashines. McGraw-Hill, New-York, 1965.

35. R. Parekh, J. Yang, V. Honovar. Constructive neural network learning algorithms for multi-category classification. Technical Report ISU-CS-TR95-15a, Iowa State University, Ames. LA, 1995.

36. R. Parekh, J. Yang, V. Honovar. Constructive neural network learning algorithm for multi-category real-valued pattern classification. Technical Report ISU-CS-TR97-06, Ames. IA, 1997.

37. R. Parekh, J. Yang, V. Honovar. Mupstart a constructive neural network learning algorithm for multi-category pattern classification. In Proceedings of the IEEE/INNS International Conference on Neural Networks. ICNN'97, PP. 1960-1965, 1997.

38. D.B. Parker. Learning Logic. MIT Press, Cambridge. MA, 1985.

39. H. Poulard. Barycentric correction procedure: A fast method of learning threshold units. In Proceedings of WCNN'95, V. 1, PP. 710-713, Washington D.C., 1995.

40. M. Riedmiller, H. Broun. A direct adaptive method for faster backpropagation learning: The rprop algorithm. In H. Ruspini, editor, Proceedings of the IEEE International Conference on Neural Networks (ICNN), PP. 586-591, 1992.

41. F. Rosenblatt. The perceptron: A probabalistic model for information storage and organization in the brain. Psychological Review, (65):386-408, 1958.

42. D.E. Rumelhart, G. Hinton, and R. Williams. Learning internal representation by error propagation. In D.E. Rumelhart and J.L. McClelland, editors, Parallel Distributed Processing, V. 1 Foundations, PP. 318-362. MIT Press, Cambridge, MA, 1986.

43. Z.M. Shibzoukhov. Constructive training of boolean-valued neural networks of recognition and classification of the polynomial type. Pattern Recognition and Image Analysis. 2001. V.ll, №1, PP.95-96.

44. Z.M.Shibzoukhov, L.Z.Shautsukova. A Recursive Algorithm of the Synthesis of Neural Network Model of Multidimensional Patterns on the Basis of Non-Achimedian Algebraic Calculi // Pattern Recognition and Image Analysis. 2001. V.ll, 1, PP.97-99.

45. Z.M.Shibzoukhov. Recurrent Method for Constructive Learning of Algebraic Sigma-Pi Neurons. -In: Proceedings of International IASTED Conference "Automation, Control and Information Technology, ACIT-2002". Acta Press. 2002. PP.201-205.

46. Z.M.Shibzoukhov. Constructive Supervised Learning of Simple Recurrent Ell-networks In: Workshop poceedings of 6-th German-Russian Workshop "Pattern Recognition and Image Understanding"(OGRW-6-2003). 2003. Novosibirsk. PP.58-61.

47. Z.M.Shibzoukhov. Sequential Ei>-extensions of Sets of Incorrect Recognition Algorithms. In Conference Proceedings of VII International Conference on Pattern Recognition and Image Analysis. 2004. Vol.1. PP.116-119.

48. L.Z.Shautzukova, A.M.Sheozhev, Z.M.Shibzoukhov. On Constructive Method of Synthesis of Ma-joritaly Correct Algorithm Families In Conference Proceedings of VII Internatio nal Conference on Pattern Recognition and Image Analysis. 2004. Vol.1. PP.113-115.

49. N. Simon. Constructive Supervised Learning Algorithms for Artificial Neural Networks. Master thesis. PhD thesis, Delft University of Technology, 1993.

50. A.V. Timofeev. Learning and complexity minimization methods of diophantine and spline neural networks for control. In Proceedings of II Russian-Sweden Control Conference, PP. 47-52, S.Petersburg: SPSU, 1995.

51. T. Tollenaere. Supersaab: Fast adaptive backpropagation. In R. Eckmiller, editor, Advanced Neural Computers, PP. 151-158. North-Holland, Amsterdam, 1990.

52. D.J. Volper, S.E. Hampson. Learning and using specific instances. Biological Cybernetics, №57, PP.57-71, 1987.

53. D.J. Volper, S.E. Hampson. Quadratic function nodes: Use, structure and training. Neural Networks, №3, PP.93-107, 1990.

54. W. Pits W. McCulloch. Logical calculus of ideas immanent in nervous activity. Bulletin of Mathematical Biophisics, №7, PP.115-133, 1943.

55. P.J. Werbos. Beyond Regression: New Tools for Prediction and Analysis in Behavioral Sciences. PhD dissertation. PhD thesis, Center for Cognitive Science. Edinburgh University, Harvard University, 1974.

56. J. Yang and V. Honovar. Experiments with cascade-correlaition algorithm. Microcomputer applications, 1998.

57. J. Yang, R. Parekh, V. Honovar. Mtiling a constructive neural network learning algorithm for multi-category pattern classification. In Proceedings of the World Congress on Neural Networks'96, PP. 182-187, San Diego. CA, 1996.

58. Г.С. Авсаркисян. Рекуррентные полиномиальные формы частичных булевых функций. Известия АН СССР. Техническая кибернетика, №4, С.131-135, 1987.

59. A.В.Тимофеев. Об одном классе полиномиальных решающих функций в задачах распознавания и диагностики. В: Методы вычислений, Т. 7, С. 106-121. J1.: Изд-во ЛГУ, 1971.

60. С.И. Барцев, В.А. Охонин. Адаптивные сети обработки информации. Препринт, ИФ СО АН СССР, Красноярск, 1986. 20 с.

61. B.Л. Рвачев, А.Н. Шевченко, Т.И. Шейко. Исчисления с наибольшим числом. Кибернетика и системный анализ, №3, С.71-86, 1995.

62. В.Д. Малюгин Реализация булевых функций арифметическими полиномами. // Автоматика и телемеханика. 1979. №2, С. 114-122.

63. М.Г. Карповский, Э.С. Москалев. Спектральные методы анализа и синтеза дискретных устройст. В.: Л.: Энергия. 1973.

64. В.Д. Лабунец, О.П. Ситников. Использование быстрого преобразования Фурье-Галуа для полиномиального представления функций многозначной логики". // Изв. АН СССР. Техн. кибернетика". 1978, №5, С. 202-205.

65. В.П. Шмерко. Синтез арифметических форм булевых функций посредством преобразования Фурье. // Автоматики и телемеханика. 1989. №5, С. 134-142.

66. J. Strazdins. The Polynomial Algebra of Multivalued Logic. In: Algebra, combinatorics and logic in computer scuence. 1983. PP.777-785.

67. А.В. Тимофеев, А.В. Пшибихов. Алгоритмы обучения и минимизации сложности полиномиальных распознающих систем. Изв. АН СССР. Техн. кибернетика, №5, С.214-217, 1974.

68. А.В. Каляев, А.В. Тимофеев. Методы обучения и минимизации сложности когнитивных нейромодулей супер-макро-нейрокомпьютера с программируемой архитектурой. // Доклады РАН. 1994. Т. 337, №2, С. 180-183.

69. Ю.И. Журавлев. Корректные алгебры над множествами некорректных (эвристических) алгоритмов. I. Кибернетика, №4, С. 14-21, 1977.

70. Ю.И. Журавлев. Корректные алгебры над множествами некорректных (эвристических) алгоритмов. II. Кибернетика, №6, С.21-27, 1977.

71. Ю.И. Журавлев. Корректные алгебры над множествами некорректных (эвристических) алгоритмов. III. Кибернетика, №2, С.35-43, 1978.

72. Ю.И. Журавлев. Об алгебраическом подходе к решению задач распознавания и классификации. В: Проблемы кибернетики, Т. 33, С. 5-68. М.: Наука, 1978.

73. А.В.Тимофеев, З.М.Шибзухов. Методы синтеза и оптимизации диофантовых нейронных сетей // Доклады Адыгской академии наук. Нальчик. 1996. Т.2, №1, С.56-60.

74. А.В.Тимофеев, З.М.Шибзухов. Методы синтеза и минимизации сложности диофантовых нейронных сетей над конечным полем // М.: Автоматика и телемеханика. 1997. №4, С.204-212.

75. А.В.Тимофеев, З.М.Шибзухов. Адаптивные рекурсивные алгоритмы синтеза и оптимизации многозначных порогово-полиномиальных моделей нейронных сетей // Доклады Адыгской академии наук. Нальчик. 1997. Т.2, №2, С.42-46.

76. З.М.Шибзухов. Рекуррентная схема построения пороговых функций. В сб.: Сборник научных трудов Всероссийского симпозиума "Математическое моделирование и компьютерные технологии". Кисловодск. 1997. 4.2, Т.2, С.72-73.

77. З.М. Шибзухов. Рекуррентная схема построения кортежей многозначных функций и обучения нейронных сетей. Доклады Адыгской академии наук, Т.З, №2, С.45-51, 1998.

78. З.М. Шибзухов. Нейропроцессорные элементы полиномиального типа искусственных нейронных сетей. Доклады Адыгской академии наук, Т.4, №1, С.64-68, 1999.

79. З.М.Шибзухов. Нейропроцессорные элементы полиномиального типа и многослойные нейронные сети. В.: Сборник научных трудов Всероссийской научно-технической конференции "Нейроинформатика-99". Москва. МИФИ. 1999. 4.2, С.122-127.

80. А.В.Тимофеев, З.М.Шибзухов. Обучение многозначных нейронных сетей распознавания образов. В.: Доклады IX Всероссийской конференции "Математические методы распознавания образов". Москва. 1999. С.111-113.

81. А.В.Тимофеев, А.М.Шеожев, З.М.Шибзухов. Применение диофантовых нейронных сетей для генетического анализа и диагностики. В.: Труды 1-го Санкт-Петербургского симпозиума по теории адаптивных систем (SPAS'99). С.-Петербург. 1999. С.169-171.

82. А.В.Тимофеев, З.М.Шибзухов. Обучение многозначных нейронных сетей распознавания и управления. В.: Труды 1-го Санкт-Петербургского симпозиума по теории адаптивных систем (SPAS'99). С.-Петербург. 1999. С.172-174.

83. З.М.Шибзухов. Конструктивные рекуррентные алгоритмы синтеза сигма-пи нейронных сетей. // Искусственный интеллект. 2000. 2, С. 258-263 (Международная конференция "Интеллектуализация обработки информации". Украина. Крым. 2000).

84. З.М. Шибзухов. Конструктивные рекуррентные алгоритмы синтеза сигма-пи нейронных сетей. Доклады Адыгской академии наук, №5, С.62-67, 2000.

85. З.М. Шибзухов. Конструктивное обучение булевых сигма-пи нейронных сетей. В: Сборника научных трудов III Всероссийской научно-технической конференции Нейроинформатика-2001, С. 99-105, Москва, 2001.

86. З.М. Шибзухов. Рекуррентные алгоритмы конструктивного обучения ЕП-нейронов. В: Сб. научных трудов конференции, посвященной 90-летию со дня рождения А.А. Ляпунова, Новосибирск, 2001.

87. З.М.Шибзухов. Конструктивный Tiling алгоритм для обучения многослойных нейронных сетей из сигма-пи нейронов// Доклады Адыгской международной академии наук. Нальчик. 2001. Т.5, 2, С.56-61.

88. З.М.Шибзухов. Конструктивный Tower алгоритм для обучения нейронных сетей из сигма-пи нейронов. В.: Труды VII международной конференции "Информационные сети, системы и технологии". Минск: БГЭУ. 2001. 4.2, С.105-109.

89. З.М.Шибзухов, Л.З.Шауцукова. Конструктивное обучение сигма-пи нейронных сетей распознавания и классификации. В.: Доклады X Всероссийской конференции ММРО-Ю. Москва: ВЦ РАН. 2001. С.155-156.

90. А.В.Тимофеев, A.A. Богданов, З.М. Шибзухов. Нейросетевое представление неизвестных знаний и закономерностей. В.: В. Дюк, А.Самойленко. Data Mining. Учебный курс. 2001. СПб: Питер. С.132-165.

91. З.М. Шибзухов. Рекуррентные методы для конструктивного обучения нейронных сетей из логико-арифметических сигма-пи нейронов. Нейрокомпьютеры: разработка и применение. 2002. №5-6, С.50-57.

92. З.М.Шибзухов, А.В.Тимофеев. Рекурсивный синтез и оптимизация диофантовых нейронных сетей // Нейрокомпьютеры: разработка и применение. Москва: ИЖПР. 2002. №5-6С.40-43.

93. З.М. Шибзухов. Рекурсивное конструктивное обучение нейросетевых полиномиальных систем распознавания. Доклады РАН, Т.381, №6, С.174-176, 2002.

94. З.М.Шибзухов. Конструктивное обучение многослойных нейронных сетей из логико-арифметических сигма-пи нейронов. В сб.: Сборник научных трудов Всероссийской научно-технической конференции "Нейроинформатика-2002". Москва. МИФИ. 2002. 4.1.

95. З.М. Шибзухов. Рекуррентный метод конструктивного обучения алгебраических ЕП-нейронов и ЕП-нейромодулей. Доклады РАН, Т.388, №2, С.174-176, 2003.

96. З.М. Шибзухов. Рекуррентный метод конструктивного обучения некоторых сетей алгебраических ЕП-нейронов и ЕП-нейромодулей. Журнал вычислительной математики и математической физики, Т.43, №8, С.1298-1310, 2003.

97. З.М.Шибзухов. Конструктивный метод обучения с учителем рекуррентного ЕП-нейрона. В сб.: Доклады XI Всероссийской конференции "Математические методы распознавания образов"(ММРО-11). 2003. С.216-219.

98. З.М.Шибзухов. Конструктивный метод обучения рекуррентного сигма-пи нейрона и рекуррентного сигма-пи нейромодуля. В сб.: Сборник научных трудов III Всероссийской научно-технической конференции "Нейроинформатика-2004". Москва. 2004. 4.1.

99. З.М.Шибзухов. Конструктивные методы обучения ЕП-нейронных сетей. Нальчик: Изд-во КБНЦ РАН. 2004г. - 123с.

100. З.М.Шибзухов. Корректные ЕП-расширения одного допустимого класса алгоритмов // Доклады РАН. 2004. Т.394, №4, С.462-464.

101. З.М.Шибзухов. О последовательностях ЕФ-расширений множеств некорректных распознающих алгоритмов // Доклады РАН. 2005. Т.402, №5, С.609-612.

102. А.В.Тимофеев, А.М.Шеожев, З.М.Шибзухов. Мультиагентные диофантовые нейронные сети в задачах распознавания и диагностики. // Нейрокомпьютеры: разработка и применение. Москва: ИЖПР. 2005. №10-11, С.69-74.

103. З.М.Шибзухов. Последовательности расширений конечных множеств некорректных распознающих алгоритмов // Труды 12-ой Всероссийской конференции "Математические методы распознавания образов ММРО-12". 2005.

104. З.М.Шибзухов. Конструктивные методы обучения ЕП -нейронных сетей. МАИК "Наука". 2006г. - 159с.