Обобщение нейронных сетей на алгебру дуальных чисел тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Павлов Станислав Владимирович

• Павлов Станислав Владимирович
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Павлов Станислав Владимирович

Contents

1 introduction

2 theoretical basis for neural networks generalization

2.1 Problem Formulation

2.2 Methodology

2.3 Data Representation in the Hypercomplex Algebra

2.4 Hypercomplex Operations

2.5 Norm of Hypercomplex Numbers

2.6 Hypercomplex Batch Normalization

2.7 Backward Propagation of Loss Function Gradient

2.8 Hypercomplex Converter

2.9 Central Kernel Alignment Metrics

2.10 Transfer Knowledge from Real-valued neural networks

3 results of implementation

3.1 Hypercomplex Toy Net

3.2 Classical CV Problems

3.3 Gravitational Wave Detection

3.4 Music Transcription Task

3.5 Dual-valued Holomorphic Neural Networks

3.6 Prospective of the proposed approach. Future work

4 conclusion

5 references

6 appendix. russian translation of the dissertation / перевод диссертации на русский язык

Введение диссертации (часть автореферата) на тему «Обобщение нейронных сетей на алгебру дуальных чисел»

1 Introduction

The introduction substantiates the relevance of the dissertation work, formulates the purpose and objectives of the research, explains the scientific novelty and practical value of the obtained results, presents the submitted for the protection of the position, and gives the general characteristics of the work.

Generalization of neural networks to the complex domain is a popular subject of recent studies. The reason for such heightened interest is expected since the original data is often presented in a complex form. Recent studies show multiple advantages of using complex-valued neural networks, as opposed to the real-valued ones, including faster learning [1] and larger representational capacity [2]. Furthermore, the state-of-the-art works introduce equivariant and invariant complex-valued layers and activation functions for neural networks, which allow researchers to construct robust models with better convergence and accuracy [3], [4]. These results are based on the fact that complex numbers can be represented in the polar form in terms of their amplitude and phase. This representation also has a significant drawback in particular, it is difficult to find a sum of complex numbers in this form. That is why in this work we will focus on algebraic representation of complex numbers.

Complex neural networks are increasingly being used in various applications and research tasks [5]. Such tasks as radio signal turnover, image processing and computer vision, processing and analysis of audio signals, Signal processing from radars and sanaras, cryptography, time series prediction, associative memory, wind prediction, robotics, traffic control, spam detection, predictions in agriculture and others.

The author B. Widrow was one of the first to propose a complex LMS algorithm and showed its efficiency in comparison with real ones [6]. In the work of A. Hirose on radio signal processing [7] compares the generalization characteristics of complex-valued and real-valued neural networks in terms of coherence of processed signals. The problem of function approximation (temporal signal interpolation) is studied. Simulations and real experiments show that complex-valued neural networks with the amplitude-phase activation function show a smaller generalization error, than really significant networks, such as bivariate real-valued neural networks. Also, the following authors have also made significant contributions to the application of the ideas of complex neural networks in the processing of radio signals: B. Widrow, T. Kim, S. Scardapane, Y. Quan, M. Catelani, A. Marseet, I. Cha, S. Chen, D. Jianping, W. Gong, A. Uncini, M. Scarpiniti, R. Huang, M. Solazzi, N. Benvenuto, A. B. Suksmono, A. Hirose, Y. Chistyakov, A. Minin, J. Zhang, S. Liu, M. Peker, S. Hu, Y. Suzuki, T. Ding [6]-[34].

A significant contribution to the development of complex networks for computer vision was made by the authors: M. Arjovsky, C.-A. Popa, M. Matlacz, J. N. Eisenberg, P. Virtue, E. Eisenberg, R. S. Zemel, C. Trabelsi, S. Amilia, M. Miyauchi, A. Hirose, Y. Liu, R. F. Olanrewaju, R. Hata, Y. Kominami, C.-A. Popa, L. Li, [1], [35]-[56]. Complex deep neural networks had been limited for some time in application to computer vision problems due to the lack of necessary building blocks. A landmark work by C. Trabelsi [45] provides key components for complex deep neural networks and demonstrates their application to convolutional neural networks and LSTM. C. Trabelsi proposed complex convolutions and several variants of algorithms for complex packet normalization, a strategy for initializing weights for complex neural networks, and also showed advantages

over real analogs in computer vision problems. In the work of the author S. Gu [57] proposes a complex analogue of VGG, a complex analogue of a fully-connected layer, and shows the advantage of such an architecture for recognition problems, achieving better quality in a similar class of architectures for the time.

Many researchers expanded the use of complex neural networks to other tasks, Researchers have explored their utility in various fields, showcasing their adaptability and effectiveness in tackling diverse tasks: C. Trabelsi, D. Hayakawa, M. Kataoka, M. Kinouchi, A. Y. H. Al-Nuaimi, Y.-S. Lee, C. S. Tay have leveraged complex neural networks for tasks as speech recognition and audio classification processing and analysis of audio signals [45], [58-63], processing signals from radars and sanaras - J. Gao, M. Wilmanski, I. N. Aisenberg, K. Oyama, X. Yao [64]-[69], cryptography - T. Dong [70], time series prediction - I. N. Aisenberg [66], associative memory - S. Jankowski, T. Miyajima [71-72], wind prediction - H. H. Cevik, T. Kitajima, D. P. Mandic [73-75], robotics - Y. Maeda [76], traffic flow control - I. Nishikawa [77-78], spam detection - J. Hu [79], predictions in agriculture - I. N. Aisenberg [37].

These outstanding results inspired us to perform further generalization of neural networks to the dual domain D. The dual numbers are a special class of numbers, whose elements can be written as x + sy, where x, y are real numbers, and £ is a nilpotent element, which satisfies the relations: £2 = 0 , s ^ 0 . The basic mathematical operations for dual numbers are

Oi + eyi) + (^2 + £72) = (Xi + X2) + £(yi + 72),

(Xi + £yi) - (X2 + £J2) = (Xi + X2) - £(3i + J2), (Xi + £Ji)(X2 + £J2) = X1X2 + £(XiJ2 + y^), (Xi + £ yQ = Xi (yiX2 - XiJ2) (X2 + £72) X2 X| ,

(x + £y)n = xn(l + £^y),

VXT^y = vX(i + £-y-),

(X -I- £3/)) = X — £y.

As well as complex numbers, dual numbers have found applications in physics, specifically in the Screw theory [80]. Dual numbers also make it possible to automatically compute derivatives of functions [81], [82]. There are no obstacles to use dual numbers for Deep Learning. Presumably, the first and only attempt to investigate dual-valued neural network is [83], but this work does not exploit any properties of dual numbers, except for £2 = 0. This area deserves further study.

Complex-valued convolution is equivalent to four real-valued matrix multiplications, while the dual-valued one consists of only three real-valued matrix multiplications.

Increased interest in such algebra is driven by the following problem: when real-valued layers are transferred to a complex domain, the number of operations is significantly increased. For example, convolution of complex-valued input z = x + iy with complex-valued filter matrix W = A + ¿5 can be rewritten as Wz = Ax — 5y + i(Ay + 5x), which has four real-valued matrix multiplications (Figure 1).

Figure 1. Comparison of complex-valued and dual-valued convolutions.

At the same time, we can consider x,y as separate groups and apply real-valued convolutions to each channel independently. In this case, x and y are not be linked with each other. To overcome this obstacle, we suggest using dual numbers. Dual-valued convolution of dual filter W = A + sB and dual input z = x + sy, due to distributive property and s2 = 0, is Wz = Ax + s(Ay + Bx). This convolution has only three real-valued matrix multiplications (see Figure 1), which results in 25% performance speed-up compared to complex-valued convolution, and links x and y channels as well. This result has persuaded us into further research.

In this research, developed methodology of construction and training of dual-valued neural networks or even general networks, which operate with hypercomplex numbers of the second order (dual, complex, double numbers). Provided definitions of the basic components of dual-valued neural network, such as layers and activation functions. In addition, we develop special normalization techniques that utilize matrix representation of dual numbers. As it has been shown for the real-valued networks [84], batch

normalization helps us accelerate the training process and reach better accuracy. Also investigated derivative of functions of dual-valued variables. Basing on this derivative, developed custom backpropagation for dual-valued NNs and show that it leads to the same result as original default gradient. In addition, holomorphic dual-valued neural networks are proposed and explored. An important part of this study is optimizations of hypercomplex operators.

The aim of the dissertation is to generalize neural networks to the algebra of dual numbers in order to achieve a better ratio of quality-speed calculations. To achieve this goal, the following tasks were solved:

1) To develop a mathematical basis for neural networks on hypercomplex algebras.

2) To develop a methodology for constructing neural networks on hypercomplex algebras.

3) Conducting computational experiments to demonstrate the benefits of the new approach.

The object of the study is neural networks.

The subject of research is mathematical and algorithmic support of the generalization of neural networks to hypercomplex algebra.

The scientific novelty of the work consists in the following:

1) The formula of hypercomplex norm and the algorithm of batch normalization based on this norm are defined. A derivative formula for functions of second-order hypercomplex variables is also defined.

2) Fifteen neural network operators on hypercomplex algebra are defined, including basic (convolution, linear, group batch norm, pooling, linear rectification block), dual

holomorphic operators are defined. Computational experiments on construction of hypercomplex neural networks were carried out. A procedure for transferring knowledge from real to hypercomplex networks has been developed. 3) The advantages (performance and accuracy) of the developed approach to solving a number of problems (computer vision, detection of gravitational waves and music transcription) are shown, due to the identification of dual-type features that have not been considered previously.

Practical value. The possibility of applying the developed approach to solving practical problems is shown (basic realizations of hypercomplex networks, classical problems of computer vision, detection of gravitational waves, music transcription task, as well as improvements with application of dual holomorphic neural networks). The software implementation in the MindSpore open access product was completed.

Implementation of the results of work. The results of the study were introduced into the educational process at the Department of Applied Mathematics and Informatics. Hypercomplex operators and networks added to Open Access Product MindSpore.

Methods of research. Modern methods of machine learning, deep neural network theory, hypercomplex number algebra are used. Key results:

1) A hypercomplex norm formula and a batch normalization algorithm based on this norm. Derivative formula for functions of second-order hypercomplex algebras.

2) Development of neural network architecture for hypercomplex algebras. Development and software implementation of neural network operators on hypercomplex algebras.

3) Results for assessing the effectiveness of various strategies for transferring knowledge

from real neural networks to hypercomplex ones. 4) Efficiency (in terms of speed and accuracy) of hypercomplex neural networks application in tasks of classical computer vision, detection of gravitational waves and transcription of music and others.

Results reliability. The reliability of the results is ensured by the correct development of the mathematical apparatus and the conduct of experimental researches. Publications. On the topic of the dissertation were published 3 papers. Personal contribution: the author developed the key idea of generalizing neural networks to the algebra of dual numbers, mathematical apparatus and algorithmic part, carried out experiments and made conclusions. Publications of higher level:

1) Pavlov, S.; Kozlov, D.; Bakulin, M.; Zuev, A.; Latyshev, A.; Beliaev, A. Generalization of Neural Networks on Second-Order Hypercomplex Numbers. Mathematics 2023, 11, 3973. https://doi.org/10.3390/math11183973 Scopus Q1 journal, Q2 in base scimagojr.com.

Standard level publications:

2) Dmitry Kozlov; Stanislav Pavlov; Alexander Zuev; Mikhail Bakulin; Mariya Krylova, Igor Kharchikov. Dual-valued Neural Networks. 2022 18th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS, Madrid, Spain). DOI: 10.1109/AVSS56176.2022.9959227. Core B, IEEE Xplore, WoS.

3) Dmitry Kozlov; Mikhail Bakulin; Stanislav Pavlov; Aleksandr Zuev; Mariya

Krylova, Igor Kharchikov. Learning Properties of Holomorphic Neural Networks of Dual

Variables. ICASSP 2023-2023 IEEE International Conference on Acoustics, Speech and

Signal Processing (ICASSP, Rhodes Island, Greece). DOI: 10.1109/ICASSP49357.2023.10095457. Core B, IEEE Xplore, WoS, and 13th conference by Impact Factor https://research.com/conference-rankings/computer-science.

Work approbation. The main provisions and results of the dissertation were reported and discussed at the following scientific and technical conferences and seminars:

1) IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS, Madrid, Spain, November' 29 - December' 2 2022), talk «Dual-valued Neural Networks».

2) IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Rhodes Island, Greece, June' 4 - June' 10 2023), talk "Learning Properties of Holomorphic Neural Networks of Dual Variables".

3) Scientific seminar at the Applied AI Center, Skolkovo Institute of Science and Technology (November 12, 2023), talk "Generalization of neural networks to the algebra of dual numbers."

4) Extended scientific seminar of the laboratory of Algorithms and Technologies for Networks Analysis of the National Research University Higher School of Economics (December 20, 2023), talk "Generalization of neural networks on the dual numbers algebra."

Заключение диссертации по теме «Другие cпециальности», Павлов Станислав Владимирович

4 Заключение

Ключевой концепцией данного исследования является обобщение нейронных сетей на гиперкомплексные алгебры второго порядка. Автор предлагает универсальный подход к разработке операторов, основанных на комплексных, дуальных и двойных числах, в контексте глубокого обучения. Обобщение нейронных сетей для работы с гиперкомплексными алгебрами второго порядка -это новый шаг в глубоком обучении. Традиционные нейронные сети в первую очередь предназначены для работы с реальными данными, что ограничивает их способность улавливать сложность определенных типов данных, таких как пространственные отношения в изображениях или временные зависимости в последовательностях. Расширяя возможности нейронных сетей для использования гиперкомплексных алгебр, которые включают комплексные, дуальные и двойные числа, автор предлагает новый подход для повышения выразительности и гибкости моделей глубокого обучения. Комплексные числа с их действительной и мнимой составляющими уже показали свою полезность в различных приложениях, особенно в задачах обработки сигналов и распознавания изображений. Благодаря включению дуальных чисел, которые расширяют понятие комплексных чисел, и двойных чисел, которые еще больше дополняют их гиперболическими компонентами, предлагаемый подход предлагает математические возможности для работы нейронных сетей.

Этот универсальный подход к разработке операторов на основе гиперкомплексных алгебр не только расширяет возможности представления

нейронных сетей, но и предоставляет возможности для решения сложных задач машинного обучения. Например, в задачах компьютерного зрения, где понимание пространственных связей имеет решающее значение, использование гиперкомплексных операторов может привести к созданию более надежных и интерпретируемых моделей.

Автор разрабатывает общую методологию построения и обучения нейронных сетей на основе алгебры второго порядка, уделяя особое внимание дуальным моделям. Чтобы иметь возможность проектировать любую модель, автор определяет базовые уровни и использует специальное представление данных. Важной частью этого является разработка математически обоснованной нормы (модуля) дуальных и других гиперкомплексных чисел второго порядка. На основе этой формулы автор определяет пакетную нормировку для гиперкомплексных тензоров и показывает, что это помогает достичь более высокой точности. Автор также определяет производную от функций гиперкомплексных чисел для метода обратного распространения в нейронных сетях. Автор реализовал эту формулу и показал, что она приводит к тому же результату, что и вычисление двух вещественнозначных производных. Автор также адаптирует процедуру переноса знаний для использования предварительно обученных весов из вещественнозначных моделей в гиперкомплексные. Эта процедура повышает точность дуальных и комплекснозначных моделей и увеличивает их сходимость.

Повышение точности при переходе от действительных чисел к дуальным/комплексным приводит к снижению производительности. Для

сокращения времени вывода гиперкомплексных моделей было протестировано и

реализовано несколько оптимизаций.

Автор преобразует несколько популярных вещественнозначных архитектур в дуальные и комплекснозначные модели и тестирует их на общедоступных наборах данных. Проведенные эксперименты показывают, что дуальные нейронные сети показали лучшие (или одни из лучших в соответствующем семействе) значения показателей с достаточно хорошей производительностью.

В качестве резюме работы. Были разработаны новые гиперкомплексные

операторы. Предложена и внедрена методика пакетной нормализации для

гиперкомплексных моделей. Было предложено и исследовано новое направление в

области глубокого обучения: голоморфные дуальные нейронные сети. Переход

моделей от вещественных чисел к их дуальным аналогам предвещает заметное

повышение точности в различных наборах данных, предоставляя убедительные

доказательства в поддержку основного направления исследования. Например, в

наборе данных MusicNet использование двойственных чисел приводит к

значительному повышению точности на 4,5%. Аналогичным образом, набор

данных G2Net демонстрирует значительное повышение точности на 2,8% при

использовании моделей на дуальной основе. Более того, дуальная модель даже на

наборе данных ImageNet демонстрирует заметный рост точности, увеличившись на

1%. Эти существенные достижения в различных наборах данных подчеркивают

эффективность и потенциал использования дуальных чисел в моделировании

нейронных сетей. Такие результаты не только подтверждают основное

направление диссертации, но и стимулируют дальнейшие исследования по

интеграции гиперкомплексности в методологии нейронных сетей, обещая еще

большее повышение точности и производительности в широком спектре приложений.

Список литературы диссертационного исследования кандидат наук Павлов Станислав Владимирович, 2024 год

5 Библиография

[1] М. Аржовски, А. Шах и Ю. Бенгио, "Рекуррентные нейронные сети унитарной

эволюции", том 48, 2015, [Онлайн]. Доступно: http://arxiv.org/abs/1511.06464

[2] Т. Нитта, "Вычислительная мощность комплекснозначного нейрона", на

совместной международной конференции ICANN/ICONIP, 2003, стр. 9931000.

[3] Р. Чакраборти, Ю. Син и С. Х. Ю., "Сюрреалистическое: комплекснозначное

обучение как принципиальные преобразования на многообразии масштабирования и вращения", IEEE Trans. Нейронные сети учатся. Система, том 33, № 3, стр. 940-951, 2022, doi: 10.1109/TNNLS.2020.3030565.

[4] У. Сингхал, Ю. Син и С. Х. Ю, "Симметрия домена для комплексного глубокого

обучения", декабрь 2021 г., Дата обращения: 14 марта 2022 г. [Онлайн]. Доступно: http://arxiv.org/abs/2112.01525

[5] Дж. Бэсси, Л. Цянь и Х. Ли, "Обзор комплекснозначных нейронных сетей", 2021,

[Онлайн]. Доступно: http://arxiv.org/abs/2101.12249

[6] Б. Уидроу, Дж. М. Маккул и М. Болл, "Сложный алгоритм LMS", Сборник

статей. IEEE, том 63, стр. 719-720, 1975.

[7] А. Хиросе и С. Йошида, "Обобщающие характеристики комплекснозначных

нейронных сетей прямого действия в отношении когерентности сигнала", IEEE Trans. Нейронные сети учатся. Syst., том 23, стр. 541-551, 2012.

[8] Т. Ким и Т. Адали, "Полностью сложное обратное распространение для

обработки сигналов с постоянной огибающей", Нейронные сети

обрабатывают сигналы. X. Proc. Обработка сигналов IEEE 2000. Soc. Работа. (Кат. №00TH8501), том 1, стр. 231-240, том 1, 2000.

[9] Т. Ким и Т. Адали, "Полностью сложная многослойная персептронная сеть для

нелинейной обработки сигналов", J. VLSI signal Process. Системный сигнал, технология видеоизображения, том 32, стр. 29-43, 2002.

[10] С. Скардапан, С. Ван Веренберг, А. Хуссейн и А. Унчини, "Комплекснозначные нейронные сети с непараметрическими функциями активации", Перевод IEEE. Emerg. Верхний. Вычислить. Интеллект., том 4, стр. 140-150, 2018.

[11] Ю. Куан, Д. Ли, В. Чжэньенг, С. Лю и С. Хе, "Оценка канала и пилотный проект

для системы множественного доступа с разреженным кодом восходящей линии связи, основанной на комплекснозначном разреженном автоэнкодере", IEEE Access, 2019.

[12] М. Кателани и др., "MLMVNN для обнаружения неисправностей параметров в

ШИМ-преобразователях постоянного тока в постоянный ток и его применения для понижающих преобразователей постоянного тока в постоянный ток", 2016, 16-я Международная конференция IEEE. Конф. Environmental. Электр. Англ., стр. 1-6, 2016.

[13] А. Марсеет и Ф. Шахин, "Применение комплекснозначной сверточной нейронной сети для беспроводных сетей следующего поколения", IEEE West, 2017. Обработка изображений в Нью-Йорке. Работа., стр. 1-5, 2017.

[14] И. Ча и С. А. Кассам, "Выравнивание каналов с использованием адаптивных

сетей с комплексными радиальными базисными функциями", IEEE J. Sel.

Районы коммуны, том 13, стр. 122-131, 1995.

[15] С. Чен, С. Маклафлин и Б. Малгрю, "Сеть с комплекснозначными радиальными базовыми функциями, часть I: Сетевая архитектура и алгоритмы обучения", Signal Process, том 35, стр. 19-31, 1994.

[16] С. Чен, С. Маклафлин и Б. Малгрю, "Сеть с комплекснозначными радиальными базисными функциями, часть II: Применение для выравнивания каналов цифровой связи", Signal Process, том 36, стр. 175-188, 1994.

[17] Д. Цзяньпин, Н. Сундарараджан и П. Саратчандран, "Выравнивание каналов связи с использованием нейронных сетей с комплекснозначной минимальной радиальной базисной функцией", IEEE Trans. нейронные сети, том 13, часть 3, стр. 687-696, 2002.

[18] У. Гонг, Дж. Лян и Д. Ли, "Проектирование автоассоциативной памяти большой емкости на основе анализа комплекснозначных нейронных сетей", 2017, Int. Работа. Сложная система. Сети, стр. 161-168, 2017.

[19] А. Унчини, Л. Веччи, П. Камполуччи и Ф. Пьяцца, "Комплекснозначные нейронные сети с адаптивной функцией активации сплайна для нелинейного выравнивания цифровых радиолиний", IEEE Trans. Сигнальный процесс., том 47, стр. 505-514, 1999.

[20] М. Скарпинити, Д. Вильяно, Р. Паризи и А. Унчини, "Обобщенные функции расщепления для слепого разделения сложных сигналов", Нейрокомпьютинг, том 71, стр. 2245-2270, 2008.

[21] Р. Хуан и М.-С. Чен, "Адаптивное уравнивание с использованием комплекснозначной многослойной нейронной сети на основе расширенного

фильтра Калмана", WCC 2000 - ICSP 2000. 2000, 5-я часть. Conf. Сигнальный процесс. Производство. 16-я Всемирная компьютерная конференция. Конгресс. 2000, том 1, стр. 519-524 том 1, 2000.

[22] М. Солацци, А. Унчини, Э. Д. Ди Клаудио и Р. Паризи, "Байесовский нейронный эквалайзер с комплексным распознавательным обучением", ISCAS'99. Выпуск 1999 IEEE Int. Симптом. Система электронных схем. СБИС (кат. №99CH36349), том 5, стр. 343-346, том 5, 1999.

[23] Н. Бенвенуто, М. Маркези, Ф. Пьяцца и А. Унчини, "Нелинейные спутниковые

радиолинии, выровненные с использованием слепых нейронных сетей", [Труды] ICASSP 91, 1991, междунар. Конф. Акустика. Речь, сигнальный процесс., стр. 1521-1524, том 3, 1991.

[24] А. Б. Суксмоно и А. Хиросе, "Адаптивное формирование луча с использованием комплекснозначного многослойного персептрона", 2003.

[25] А. Хиросе и М. Киучи, "Когерентная оптическая ассоциативная система памяти, которая обрабатывает информацию сложной амплитуды", технология фотоники IEEE. Литература, том 12, стр. 564-566, 2000.

[26] Ю. Чистяков, Е. Холодова, А. Минин, Х.-Г. Циммерман и А. Кнолль, "Моделирование электрического силового трансформатора с использованием комплекснозначных нейронных сетей", 2011.

[27] А. Минин, Ю. Чистяков, Е. Холодова, Х.-Г. Циммерман и А. Кнолл, "Комплекснозначная открытая рекуррентная нейронная сеть для моделирования силовых трансформаторов", Дж. Математика. \& информатика, том 6, стр. 41-48, 2012.

[28] Дж. Чжан и Ю. Ву, "Новый метод автоматической классификации стадий сна",

перевод IEEE. Биомед. Circuits System, том 11, стр. 1097-1110, 2017.

[29] С. Лю и др., "Многоуровневый нелинейный эквалайзер искусственной нейронной сети для мобильных фронтальных систем миллиметрового диапазона", Дж. Лайт. Технология, том 35, стр. 4406 -4417, 2017.

[30] М. Пекер, Б. Шен и Д. Делен, "Новый метод автоматизированной диагностики

эпилепсии с использованием комплекснозначных классификаторов", IEEE J. Biomed. Лечить. Информатика, том 20, стр. 108-118, 2016.

[31] С. Ху и А. Хиросе, "Предложение адаптивной системы оценки концентрации глюкозы в миллиметровом диапазоне с использованием комплекснозначных нейронных сетей", IGARSS 2018 - 2018 IEEE Int. Геофизика. Дистанционный датчик. Симпозиум, стр. 4074-4077, 2018.

[32] С. Ху, С. Нагае и А. Хиросе, "Адаптивная оценка концентрации глюкозы миллиметровыми волнами с помощью комплекснозначных нейронных сетей", IEEE Trans. Биомед. Англ., том 66, стр. 2065-2071, 2017.

[33] Ю. Сузуки и М. Кобаяши, "Комплекснозначная двунаправленная автоассоциативная память", Международная конференция 2013 г. Нейронные сети, стр. 1-7, 2013.

[34] Т. Динг и А. Хиросе, "Прогнозирование канала с затуханием, основанное на комбинации комплекснозначных нейронных сетей и Z-преобразования Chirp", IEEE Trans. Нейронные сети учатся. Система, том 25, стр. 1686-1695, 2014.

[35] С.-А. Попа, "Глубокие гибридные вещественнозначные сверточные нейронные сети для классификации изображений", Международная

конференция 2018 г. Нейронные сети, стр. 1-6, 2018.

[36] М. Матлач и Г. Сарвас, "Подсчет толпы с использованием сложной сверточной

нейронной сети", Сигнальный процесс, 2018 г. Алгоритмы, архит. Организовать. Приложение, стр. 88-92, 2018.

[37] И. Н. Айзенберг и А. Гонсалес, "Распознавание изображений с использованием

функций MLMVN и частотной области", Международная конференция 2018 г. Нейронные сети, стр. 1-8, 2018.

[38] П. Виртью, С. Х. Ю и М. Люстиг, "Лучше, чем реально: комплекснозначные нейронные сети для МРТ-дактилоскопии", 2017, IEEE Int. Конф. Процесс создания изображений., стр. 3953 -3957, 2017.

[39] Э. Айзенберг и И. Н. Айзенберг, "Пакетный линейный алгоритм обучения на

основе метода наименьших квадратов для MLMVN с плавными границами", 2014, IEEE Symp. Вычислительный. Интеллект. Минимум данных, стр. 48-55, 2014.

[40] И. Н. Айзенберг, С. Александер и Дж. Джексон, "Распознавание размытых изображений с использованием многослойной нейронной сети, основанной на многозначных нейронах", 2011, 41 -я Международная конференция IEEE. Симпозиум Мульт. Журнал., стр. 282 -287, 2011.

[41] И. Н. Айзенберг, Д. Палий, Дж. М. Зурада и Дж. Астола, "Идентификация размытия с помощью многослойной нейронной сети, основанной на многозначных нейронах", IEEE Trans. Нейронные сети, том 19, стр. 883-898, 2008.

[42] Н. И. Айзенберг, Н. Н. Айзенберг, С. Butakoff, Е. Farberov, "распознавания

изображений на основе нейронной сети, основанная на многозначных нейронах," Тез. Докл. 15-й Инт. Конф. Распознавание образов. ICPR-2000, том 2, стр. 989-992, том 2, 2000.

[43] И. Н. Айзенберг и С. Бутаков, "Обработка изображений с использованием клеточных нейронных сетей, основанных на многозначных и универсальных бинарных нейронах", J. VLSI signal Process. Системный сигнал, технология видеоизображения, том 32, стр. 169-188, 2000.

[44] Р. С. Земель, К. К. И. Уильямс и М. С. Мозер, "Придание направления нейронным сетям", Нейронные сети, том 8, стр. 503 -512, 1995.

[45] С. Трабелси, О. Биланюк, Дмитрий Сердюк, Сандип Субраманьян, Дж. Ф. Сантос, Соруш Мехри, Негар Ростамзаде, Йошуа Бенгио, С. Пал, "Глубокие сложные сети", Международная конференция по репрезентации обучения, плакат, 2018

[46] С. семейство, Д. М. Sulistiyo, Р. Н. Dayawati, "изображение лица на основе гендерной идентичности с использованием комплекснозначных искусственных нейронных сетей," 2015 3-й Инт. Конф. Инф. Коммуна. Технология., стр. 201-206, 2015.

[47] М. Мияучи, М. Секи, А. Ватанабе и А. Мияучи, "Интерпретация оптического

потока через сложную нейронную сеть", 1993.

[48] М. Мияучи, М. Секи, А. Ватанабе и А. Мияучи, "Интерпретация оптического

потока посредством обучения нейронной сети", [Труды] Сингапурского ICCS/ISITA '92, стр. 1247-1251, том 3, 1992.

[49] А. Хиросе, Т. Хиго и К. Танидзава, "Генерация голографических трехмерных

фильмов с интерполяцией кадров с использованием когерентных нейронных сетей", Международная конференция IEEE 2006 г. Neural Netw. Proc., стр. 492-497, 2006.

[50] А. Хиросе, Т. Хиго и К. Танидзава, "Эффективная генерация голографических

фильмов с интерполяцией кадров с использованием когерентной нейронной сети", IEICE Electron. Express, том 3, стр. 417-423, 2006.

[51] Ю. Лю, Х. Хуан и Т. Хуан, "Алгоритм комплексного обратного распространения на основе параметров усиления для обучения и распознавания жестов рук", 2014, Международная конференция. Нейронные сети, стр. 2162-2166, 2014.

[52] Р. Ф. Оланреваджу, О. О. Халифа, А. Х. Абдулла и А. М. З. М. Хедер, "Обнаружение изменений в медицинских изображениях с водяными знаками с использованием быстрого преобразования Фурье и комплекснозначной нейронной сети", 2011, 4-е издание. Конференция. Мехатроника, стр. 1 -6, 2011.

[53] Р. Хата и К. Мурасе, "Многозначные автоэнкодеры для многозначных нейронных сетей", Международная конференция 2016 года. Нейронные сети, стр. 4412-4417, 2016.

[54] Ю. Коминами, Х. Огава и К. Мурасе, "Сверточные нейронные сети с многозначными нейронами", Международная конференция 2017 года. Нейронные сети, стр. 2673-2678, 2017.

[55] С.-А. Попа, "Комплекснозначные глубокие машины Больцмана", Международная конференция 2018 года. Нейронные сети, стр. 1 -8, 2018.

[56] Л. Ли, Л. Ванг, Ф. Л. Тейшейра, С. Лю, А. Нехораи и Т. Чжун Цуй, "DeepNIS:

Глубокая нейронная сеть для нелинейного обратного электромагнитного рассеяния", IEEE Trans. Распространение антенн, том 67, стр. 1819-1825, 2018.

[57] С. Гу и Л. Дин, "Алгоритм глубокого обучения на основе комплекснозначной

сети VGG для распознавания изображений", Девятая международная конференция 2018 г. Conf. Интеллект. Контрольный инф. процесс., стр. 340 -343, 2018.

[58] Д. Хаякава, Т. Масуко и Х. Фуджимура, "Применение комплекснозначных нейронных сетей к акустическому моделированию для распознавания речи", Азиатско-Тихоокеанский сигнальный институт, 2018 г. Доц. Ежегодно. Конференция на высшем уровне. (APSIPA ASC), стр. 1725-1731, 2018.

[59] М. Катаока, М. Киноути и М. Хагивара, "Система поиска музыкальной информации с использованием комплекснозначных рекуррентных нейронных сетей", SMC'98 Conf. Труды IEEE Int., 1998. Конф. Система. Человек, кибернетика. (Кат. №98CH36218), том 5, стр. 4290-4295, том 5, 1998.

[60] М. Киноути и М. Хагивара, "Запоминание мелодий с помощью комплекснозначной рекуррентной сети", междунар. Конф. Нейронные сети, том 2, стр. 1324-1328, том 2, 1996.

[61] А. И. Х. Аль-Нуайми, М. Ф. Амин и К. Мурасе, "Улучшение кодирования MP3

за счет использования прогнозирующей комплекснозначной нейронной сети", 2012, Международная конференция. Нейронные сети, стр. 1 -6, 2012.

[62] Y.-S. Lee, C.-Y. Wang, S.-F. Wang, J.-C. Wang и C.-H. Wu, "Полностью сложная

глубокая нейронная сеть для разделения монофонических источников с

учетом фазы", 2017 IEEE Int. Конф. Акустика. Обработка речевых сигналов., стр. 281-285, 2017.

[63] С. С. Тэй, К. Танидзава и А. Хиросе, "Уменьшение ошибок в голографических

фильмах с использованием гибридного метода обучения в когерентных нейронных сетях", ICANN, Lecture Notes in Computer Science, том 4668, Springer, 2007.

[64] Дж. Гао, Б. Дэн, Ю. Цинь, Х. Ван и Х. Ли, "Улучшенная радиолокационная визуализация с использованием комплекснозначной сверточной нейронной сети", IEEE Geosci. Дистанционный датчик. Литература, том 16, стр. 35 -39, 2017.

[65] М. Вильмански, С. Крейчер и А. О. Геро, "Сложные сверточные нейронные сети с входными данными для широкоугольной радиолокационной съемки", IEEE Global, 2016. Конф. Сигнальный информационный процесс, стр. 1037 -1041, 2016.

[66] И. Н. Айзенберг и С. Морага, "Многослойная нейронная сеть прямого действия,

основанная на многозначных нейронах (MLMVN) и алгоритме обучения обратному распространению", Soft Comput., том 11, стр. 169-183, 2006.

[67] К. Ояма и А. Хиросе, "Адаптивное восстановление фазы по сингулярной единице с помощью комплекснозначных нейронных сетей с обработкой всего спектра в интерферометрической SAR", Электрон. Литература, том 54, стр. 43-45, 2018.

[68] X. Яо, X. Ши и Ф. Чжоу, "Комплексно-значимая сверточная нейронная сеть для классификации видов деятельности человека", 6 -я Азиатско-

Тихоокеанская конференция 2019 года. Синт. Радар с апертурой, стр. 1 -6, 2019.

[69] X. Яо, X. Ши и Ф. Чжоу, "Классификация деятельности человека на основе сверточной нейронной сети со сложными значениями", IEEE Sens. J., том 20, стр. 7169-7180, 2020.

[70] Т. Донг и Т. Хуан, "Нейронная криптография, основанная на комплекснозначной нейронной сети", IEEE Trans. Нейронные сети учатся. Система, том 31, стр. 4999-5004, 2019.

[71] С. Янковский, А. Лозовски и Дж. М. Зурада, "Комплекснозначная нейронная ассоциативная память с несколькими состояниями", IEEE Trans. нейронные сети, том 76, стр. 1491-1496, 1996.

[72] Т. Миядзима, Ф. Байшо, К. Яманака, К. Накамура и М. Агу, "Фазовая модель

с состояниями покоя", пер. IEICE. Инф. система, том 83, стр. 299-301, 2000.

[73] Х. Х. Чевик, Ю. Э. Акар и М. Чункаш, "Прогнозирование энергии ветра на день

вперед с использованием комплекснозначной нейронной сети", 2018 г. Конференция. Интеллектуальная энергетическая система. Технология., стр. 1 -6, 2018.

[74] Т. Китадзима и Т. Ясуно, "Прогнозирование производительности системы производства энергии ветра с использованием комплекснозначной нейронной сети", Proc. Ежегодно. Конференция 2010 года, стр. 3610-3613, 2010.

[75] Д. П. Мандич, С. Джавиди, С. Л. Го, А. Кух и К. Айхара, "Комплекснозначное

прогнозирование профиля ветра с использованием дополненной комплексной статистики", Обновлено. Энергия, том 34, стр. 196 -201, 2009.

[76] Ю. Маэда, Т. Фудзивара и Х. Ито, "Управление роботами с использованием многомерных нейронных сетей", 2014 г., Сборник трудов. Ежегодно. Конференция, стр. 738-743, 2014.

[77] И. Нисикава, К. Сакакибара, Т. Иритани и Ю. Куроэ, "2 типа комплекснозначных сетей Хопфилда и их применение для управления дорожными сигналами", Труды. 2005 IEEE Int. Jt. Conf. Нейронные сети, 2005., том 2, стр. 782-787 том 2, 2005.

[78] И. Нисикава, Т. Иритани и К. Сакакибара, "Усовершенствования управления дорожными сигналами с помощью комплекснозначных сетей Хопфилда", 2006 г., Международная конференция IEEE. Нейронная сеть. Proc., стр. 459464, 2006.

[79] Дж. Ху, З. Ли, З. Ху, Д. Яо, и Ж. ю "обнаружения спама с комплексной нейронной сети, используя поведенческие характеристики", 2008 Второй Инт. Конф. Жене. Эволюция. Вычислительная техника, стр. 166-169, 2008.

[80] Ф. М. Диментберг, "Математический анализ винтов и его применение в механике". WP-AFB, Огайо : Отдел иностранных технологий, 1968.

[81] А. Гюнеш Байдин, Б. А. Перлмуттер, А. Андреевич Радул и Дж. Марк Сискинд,

"Автоматическая дифференциация в машинном обучении: обзор", Дж. Учеб. пособие, том 18, стр. 1-43, 2018.

[82] Р. Киран и К. Ханделвал, "Автоматическая реализация анизотропных гиперупругих моделей конечной деформации с использованием гипердвойственных чисел", вычисл. Механика, том 55, №2 1, стр. 229 -248, 2015, doi: 10.1007/s00466-014-1094-1.

[83] Ю. Окава и Т. Нитта, "Свойства обучения нейронных сетей прямого действия

с использованием двойственных чисел", в сборнике трудов ежегодного саммита и конференции APSIPA, 2021, стр. 187-192.

[84] С. Иоффе и К. Сегеди, "Пакетная нормализация: ускорение глубокого сетевого

обучения за счет уменьшения внутреннего сдвига ковариат", в трудах 32 -й Международной конференции по машинному обучению, PMLR, 2015, № 37, стр. 448-456. doi: 10.1080/17512786.2015.1058180.

[85] В. В. Кисиль, "Эрлангенская программа в целом-1: Геометрия инвариантов",

Симметрия, интеграл. Геом. Приложение к методам, том 6, 2010, doi: 10.3842/SIGMA.2010.076.

[86] В. В. Кисиль, "Эрлангенская программа в целом - 2: Изобретение колеса". Параболическое колесо", стр. 1-34, 2007, [Онлайн]. Доступно: http://arxiv.org/abs/0707.4024

[87] У. Виртингер, "Формальная теория функций для измерения сложных границ",

Математика. Ann., том 97, стр. 357-375, 1927.

[88] Г. дель Кастильо, "Применение двойственных чисел. Модели Бьянки", Мексиканская физика, том 17, стр. 146, 2020.

[89] А. Г. Байдин, Б. А. Перлмуттер и А. А. Радул, "Автоматическая дифференциация в машинном обучении: обзор", CoRR, том abs/1502.0, 2015, [Онлайн]. В наличии: http://arxiv.org/abs/1502.05767

[90] С. Форт, П. Ховланд, Э. Фиппс, Дж. Утке и А. Вальтер, ред., Последние достижения в алгоритмическом дифференцировании, том II. 87. Springer, Берлин, Гейдельберг, 2012. doi: 10.1007/978-3-642-30023-3.

[91] У. К. Клиффорд, "Предварительный набросок бикватернионов", Сборник статей. Лондонский математический журнал, том 4, стр. 381-395, 1873.

[92] С. Корнблит, М. Норузи, Х. Ли и Г. Хинтон, "Пересмотр подобия представлений нейронных сетей", на 36 -й Международной конференции по машинному обучению, ICML 2019, 2019, том 2019-июнь, стр. 6156-6175.

[93] Набор данных ImageNet: [сайт]. URL: https://www.image-net.org/.

[94] Набор данных CIFAR-10 и набор данных CIFAR-100: [сайт]. URL: https://www.cs.toronto.edu/~kriz/cifar.html.

[95] Набор данных о номерах домов с видом на улицу (SVHN): [сайт]. URL: http ://ufldl.stanford. edu/housenumbers.

[96] Набор данных G2Net: [сайт]: URL: https://www.kaggle.com/competitions/g2net-

gravitational-wave-detection/data.

[97] Б. П. Эбботт и другие, "Наблюдение гравитационных волн при слиянии двойных черных дыр", Phys. Rev. Lett., том 116, № 6, 2016, doi: 10.1103/PhysRevLett.116.061102., "Обзор гравитационных волн при слиянии двойных черных дыр".

[98] Р. М. Шеннон и другие, "Гравитационные волны от двойных сверхмассивных

черных дыр, отсутствующие в наблюдениях пульсаров", Science (80-.), том 349, № 6255, стр. 1522-1525, 2015, doi: 10.1126/science.aab1910.

[99] К. С. Торн, "Гравитационные волны от компактных тел". arXiv, 1995. doi: 10.48550/ARXIV.GR-QC/9506084.

[100] Дж. Браун, "Вычисление постоянного спектрального преобразования {Q}", JASA, 1991.

[101] Джей Thickstun, З. Harchaoui, и С. М. Kakade, "изучение особенностей музыки "с нуля"," 5-й Инт. Конф. Учить. Представлять. ICLR 2017 - Конф. Сборник композиций, стр. 1-14, 2017.

[102] Дж. О. Смит, "Повторная дискретизация цифрового аудио", 2002. [Онлайн]. Доступно: https://ccrma.stanford.edu/~jos/повторная дискретизация/

[103] Д. П. Кингма и Ж.-Л. Ба "Адам: метод стохастической оптимизации", 3 -й Инт. Конф. Учить. Представлять. ICLR 2015 - Конф. Сборник статей, стр. 1 -15, 2015.

[104] К. Хе, Х. Чжан, С. Рен и Дж. Сун, "Глубокое остаточное обучение для распознавания изображений", Proc. Вычисление IEEE. Сок. Конф. Вычислить. Вис. Распознавание образов., том 2016-декабрь, стр. 770-778, декабрь 2016, doi: 10.1109/CVPR.2016.90.

[105] J. Yang и др., "{MedMNIST} v2 - Крупномасштабный облегченный тест для классификации 2D и 3D биомедицинских изображений", Sci. Data, том 10, № 1, январь 2023 г., doi: 10.1038/s41597-022-01721-8 .

[106] М. О. Гани, С. Куири, А. Дас, М. Насипури и Н. Дас, "Мультиспектральное обнаружение объектов с помощью глубокого обучения", в журнале Communications in Computer and Information Science, 2021, том 1406 CCIS, стр. 105-117. doi: 10.1007/978-3-030-75529-4_9.

[107] Л. Ванг и др., "Обнаружение трехмерных объектов на основе многоканальной сверточной нейронной сети для восприятия роботом окружающей среды в помещении", Sensors (Швейцария), том 19, № 4, 2019, doi: 10.3390/s19040893.

[108] З. Ченг и Дж. Шен, "Об очень крупномасштабной тестовой коллекции для сравнительного анализа поиска значимых изображений", Обработка сигналов, том 124, стр. 13-26, июль 2016, doi: 10.1016/J.SIGPRO.2015.10.037.

[109] Дж. Сонг, Л. Гао, Ф. Не, Х. Т. Шен, Ю. Ян и Н. Себе, "Оптимизированное обучение графам с использованием частичных тегов и множества функций для аннотации изображений и видео", IEEE Trans. Обработка изображений., том 25, № 11, стр. 4999-5011, 2016, doi: 10.1109/TIP.2016.2601260.

[110] Л. Гао, Х. Ли, Дж. Сонг и Х. Т. Шен, "Иерархические LSTM с адаптивным вниманием к визуальным субтитрам", перевод IEEE. Анализ шаблонов. Мах. Интеллект., том 42, № 5, стр. 1112-1131, 2020, doi: 10.1109/TPAMI.2019.2894139.

[111] А. М. Шахиди, С. Р. Патель, Дж. Г. Фланаган и К. Хадсон, "Региональные различия в насыщении сосудов сетчатки человека кислородом", Эксп. Eye Res., том 113, стр. 143-147, август 2013 г., doi: 10.1016/J.EXER.2013.06.001.

[112] У. Ди, Л. Чжан, Д. Чжан и К. Пан, "Исследования по гиперспектральному распознаванию лиц в видимом спектре с выбором полосы признаков", перевод IEEE. Система. Человек, киберн. Часть "Асистемы человека", том 40, № 6, стр. 1354-1361, 2010, doi: 10.1109/TSMCA.2010.2052603.

[113] Ф. М. Лакар, М. М. Льюис и И. Т. Грирсон, "Использование гиперспектральных изображений для картографирования сортов винограда в долине Баросса, Южная Австралия", на Международном симпозиуме по геонаукам и дистанционному зондированию (IGARSS), 2001, том 6, стр. 28752877. doi: 10.1109/igarss.2001.978191.

[114] Дж. Г. Ферверда, "Измерение качества кормов и составление карт изменения содержания химических компонентов в листве с помощью гиперспектрального дистанционного зондирования", № 10. Февраль. 2005.

[115] А. К. Тиллинг и др., "Дистанционное определение дефицита азота и воды в пшенице", F. Crop. Res., том 104, № 1-3, стр. 77-85, октябрь 2007 г., doi: 10.1016/J.FCR.2007.03.023.

[116] П. Вермюлен, П. Флемаль, О. Пиджен, П. Дарденн, Х. А. Фернандес Пьерна и В. Бетен, "Оценка пестицидного покрытия семян зерновых культур с помощью гиперспектральной визуализации в ближнем инфракрасном диапазоне", J. Spectr. Визуализация, том 6, стр. 1-7, 2017, doi: 10.1255/jsi.2017.a1.

[117] В. Фарли, А. Вальер, А. Вильмер, М. Чемберленд, П. Лаге и Ж. Жиру, "Обнаружение и идентификация химических веществ с помощью инфракрасного датчика гиперспектральной визуализации", Электрооптическое дистанционное зондирование, Detect. Фотонные технологии. Их приложение, том 6739, номер. Октябрь, стр. 673918, 2007, doi: 10.1117/12.736864.

[118] К. Фанг, Д. Хан и З. Ванг, "Кросс-модальный термоядерный преобразователь для мультиспектрального обнаружения объектов", SSRN Electron. J., 2022, doi: 10.2139/ssrn.4227745.