Итерационные методы регуляризации в регрессионном моделировании и обработке цифровых данных тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Сидоров Юрий Вячеславович

• Сидоров Юрий Вячеславович
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Сидоров Юрий Вячеславович

Введение

Глава 1. Итерационные алгоритмы регуляризации

1.1. Выводы

Глава 2. Строчно-ориентированная форма

регуляризованного алгоритма Качмажа

2.1. Введение

2.2. Постановка задачи

2.3. Формулировка строчно-ориентированной формы

регуляризованного алгоритма Качмажа

2.4. Ускоренные варианты строчно-ориентированной формы

регуляризованного алгоритма Качмажа

2.4.1. Рандомизированный и «жадный» варианты строчно-ориентированной формы регуляризованного алгоритма Качмажа

2.4.2. Итерационный алгоритм Бен-Израэля для вычисления псевдобратной матрицы

2.4.3. Вычисление псевдообратной матрицы для расширенных матриц специальной структуры

2.4.4. Блочный вариант строчно-ориентированной формы регуляризованного алгоритма Качмажа

2.5. Результаты вычислительных экспериментов

2.5.1. Тестовые исследования регуляризованного алгоритма Качмажа

2.5.2. Сравнение способов вычисления псевдообратной матрицы на графических процессорах

2.5.3. Применение разработанных алгоритмов к решению одномерной задачи гравитационной съемки

2.6. Выводы

Глава 3. Итерационный метод регуляризации для решения

задач ридж - регрессии

3.1. Введение

3.2. Неявный метод простых итераций на основе сингулярного разложения

3.3. Регуляризующий итерационный алгоритм на основе сингулярного разложения

3.4. Задача полиномиальной регрессии

3.4.1. Результаты вычислительных экспериментов

3.5. Выводы

Глава 4. Вычисление обобщённых нормальных решений

недоопределённых разреженных линейных систем

больших размерностей

4.1. Введение

4.2. Метод расширенной системы

4.3. Результаты вычислительных экспериментов

4.3.1. Задача балансировки химических уравнений

4.4. Выводы

Заключение

Список литературы

Приложение А. Задача одномерной гравитационной съемки

1.1. Результаты расчетов для программной реализации на CPU

1.2. Результаты расчетов для программной реализации на CPU+GPU

1.3. Результаты расчетов для программной реализации на GPU

Введение диссертации (часть автореферата) на тему «Итерационные методы регуляризации в регрессионном моделировании и обработке цифровых данных»

Совершенствование вычислительных алгоритмов и увеличение мощностей современных компьютеров сделало возможным получение и обработку больших массивов данных в различных прикладных областях. Все чаще исследователи используют подходы на основе анализа больших данных при решении различных практических задач, таких как, восстановление изображений по разреженным и зашумленным измерениям случайных пикселей, машинное обучение и т.д.

Анализ данных включает в себя различные методы математического моделирования, прогнозирования и классификации. Одним из важнейших подходов решения задач анализа больших данных является регрессионное моделирование, которое является универсальным инструментом решения этого класса задач. При решении задач обработки и анализа больших данных, с применением методов регрессионного моделирования, возникает необходимость вычисления решений или псевдорешений произвольных систем линейных алгебраических уравнений (СЛАУ).

Для решения СЛАУ, в указанных задачах регрессионного моделирования, наиболее эффективными являются итерационные алгоритмы ре-гуляризиризации, такие как регуляризованные варианты алгоритма Кач-мажа и итерационные алгоритмы регуляризации основанные на принципе невязки (discripancy principle - DP - принцип).

Для первого типа алгоритмов характерно использование параметра регуляризации в явном виде, как в классическом методе регуляризации А.Н. Тихонова, а для второго типа роль параметра регуляризации выполняет номер остановки итерационного процесса (DP - принцип). Наиболее важными для второго типа алгоритмов являются неявные итерационные схемы на основе метода простых итераций.

При решении рассматриваемых задач, важно не только выбрать метод решения СЛАУ, но необходимо эффективно применять современные параллельные вычислительные технологии - выбрать наиболее подходящие

для задачи высокопроизводительные библиотеки и аппаратную архитектуру.

Учитывая вышеизложенное, разработка устойчивых итерационных алгоритмов регуляризации для решения задач регрессионного моделирования и анализа данных с использованием современных параллельных вычислительных технологий является актуальной задачей. Сформулируем цель диссертационной работы.

Целью данной работы является разработка методов решения плохо обусловленных задач регрессионного моделирования, обработки и анализа данных на основе итерационных алгоритмов регуляризации.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Разработать строчно-ориентированную регуляризованную форму проекционного метода Качмажа на основе расширенной нормальной системы уравнений.

2. Разработать ускоренные варианты регуляризованной формы проекционного алгоритма Качмажа с помощью специальных правил выбора проекционной последовательности.

3. Разработать блочный вариант строчно-ориентированной формы регуляризованного алгоритма Качмажа с использованием итерационного метода Бен-Израэля.

4. Применить неявный метод простых итераций на основе сингулярного разложения для решения задач регрессионного моделирования и анализа данных.

5. Разработать метод нахождения обобщенных нормальных решений недоопределенных линейных систем большой размерности на основе специальной расширенной системы.

Научная новизна:

1. Предложена строчно-ориентированная форма проекционного метода Качмажа на основе расширенной регуляризованной нормальной системы уравнений.

2. Предложены ускоренные версии строчно-ориентированной формы регуляризованного проекционного алгоритма Качмажа с помощью специальных правил выбора проекционной последовательности.

3. Предложен блочный вариант строчно-ориентированной формы ре-гуляризованного алгоритма Качмажа, с использованием итерационного метода Бен-Израэля вычисления псевдообратной матрицы.

4. Предложена методика решения задач регрессионного моделирования и анализа данных с использованием неявного метода простых итераций на основе сингулярного разложения.

5. Предложен метод нахождения обобщенных нормальных решений недоопределенных линейных систем на основе специальной расширенной системы.

Основные положения, выносимые на защиту:

1. Строчно-ориентированная форма регуляризованного проекционного алгоритма Качмажа для решения задач обработки и анализа данных.

2. Блочный вариант строчно-ориентированной формы регуляризованного алгоритма Качмажа, с использованием итерационного метода Бен-Израэля.

3. Метод решения задач анализа данных с помощью неявного метода простых итераций на основе сингулярного разложения.

4. Метод нахождения обобщенных нормальных решений недоопреде-ленных линейных систем большой размерности на основе специальной расширенной системы.

Научная и практическая значимость. Результаты работы имеют теоретический и практический характер. Предлагаемые в работе методы и алгоритмы тестируются на модельных задачах, которые являются эталонными для рассматриваемого класса задач. Разработанные в работе методы и алгоритмы могут быть использованы при решении широкого класса плохо обусловленных задач регрессионного моделирования, обработки и анализа данных, например: задачи восстановления сигналов, задачи машинного обучения.

Соответствие специальности. Результаты исследования соответствуют следующим пунктам паспорта научной специальности 05.13.17 -Теоретические основы информатики:

п.5 Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях, разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений.

Степень достоверности полученных результатов обеспечивается строгостью постановок задач и подтверждена результатами вычислительных экспериментов для различных задач. Результаты находятся в соответствии с результатами, полученными другими авторами.

Апробация работы. Основные результаты работы докладывались на следующих конференциях: Девятая Всероссийская научная конференция с международным участием «Математическое моделирование и краевые задачи», Самара, 2013; X Всероссийская научная конференция с международным участием «Математическое моделирование и краевые задачи», Самара, 2016; XI Всероссийская научная конференции с международным участием «Математическое моделирование и краевые задачи», Самара, 2019 г.

Личный вклад. Постановка задач осуществлялась совместно с научным руководителем профессором А. И. Ждановым. Разработка тестовых моделей, их программная реализация, анализ полученных результатов и выводы из них сделаны автором самостоятельно.

Публикации. Основные результаты по теме диссертации изложены в 8 печатных изданиях, 4 в изданиях из перечня ВАК, WоS и Scopus [1-4], 4 статьи в сборниках трудов конференций.

Объем и структура работы. Диссертация состоит из введения, трёх глав, заключения и двух приложений. Полный объём диссертации составляет 120 страниц с 39 рисунками и 37 таблицами. Список литературы содержит 94 наименования.

Заключение диссертации по теме «Теоретические основы информатики», Сидоров Юрий Вячеславович

Основные результаты работы заключаются в следующем:

1. Разработана строчно-ориентированная форма проекционного метода Качмажа на основе расширенной регуляризованной нормальной системы уравнений для задач анализа данных больших размерностей.

2. Получены условия сходимости строчно—ориентированной регуля-ризованной формы проекционного алгоритма.

3. Разработаны ускоренные варианты регуляризованной формы проекционного алгоритма с помощью специальных правил выбора проекционной последовательности.

4. Разработан блочный вариант строчно-ориентированной формы регуляризованного алгоритма Качмажа, с использованием итерационного метода Бен-Израэля.

5. Разработаны программные реализации рассматриваемых вариантов строчно-ориентированной формы регуляризованного алгоритма Качмажа на высокопроизводительной платформе СИЭЛ.

6. Проведено экспериментальное сравнение разработанных алгоритмов с широко применяемыми методами решения стандартной задачи регуляризации.

7. Разработана методика решения задач анализа данных с помощью неявного метода простых итераций на основе сингулярного разложения.

8. Разработана методика выбора критерия останова для неявного метода простых итераций на основе сингулярного разложения для задач регрессионного моделирования.

9. Разработан метод нахождения обощенных нормальных решений недоопределенных линейных систем большой размерности на основе специальной расширенной системы.

10. Исследования разработанных методов решения задач анализа данных проводились на следующих тестовых задачах: задаче одномер-

ной гравитационной съемки, задаче оценки коэффициентов полиномиальной регрессии, задаче определения стехиометрических коэффициентов химических уравнений. Цель диссертации считается достигнутой, а поставленные задачи - решенными.

Список литературы диссертационного исследования кандидат наук Сидоров Юрий Вячеславович, 2022 год

1. Жданов А. И., Сидоров Ю. В. Параллельная реализация рандомизированного регуляризованного алгоритма Качмажа // Комп. оптика. — 2015. — Т. 39, № 4. — С. 536—541.

2. Жданов А. И., Сидоров Ю. В. Строчно-ориентированная форма регуляризованного метода Качмажа // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки. — 2017. — Т. 21, № 3. — С. 546—555.

3. Жданов А. И., Сидоров Ю. В. Об одном методе вычисления обобщённых нормальных решений недоопределённых линейных систем // Комп. оптика. — 2020. — Т. 44, № 1. — С. 133—136.

4. Sidorov Y. V. Single Acceleration Methods of the Kaczmarz Algorithm Regularized Modifications // Procedia Computer Science. — 2019. — Vol. 154. — P. 319-326. — DOI: 10.1016/j.procs.2019.06.046.

5. Жданов А. И. Об одном численно устойчивом алгоритме решения систем линейных алгебраических уравнений неполного ранга // Вестн. Сам. гос. техн. ун-та. Сер. Физ.-мат. науки. — 2008. — Т. 1, № 16. — С. 149—153. — DOI: 10.14498/vsgtu588.

6. Zhdanov A. I. The method of augmented regularized normal equations // Comput. Math. Math. Phys. — 2012. — Vol. 52, no. 2. — P. 194-197.

7. Strohmer T., Vershynin R. A Randomized Kaczmarz Algorithm with Exponential Convergence //J. Fourier Anal. Appl. — 2009. — Vol. 15. — P. 262-278.

8. Convergence Rates for Greedy Kaczmarz Algorithms, and Faster Randomized Kaczmarz Rules Using the Orthogonality Graph / J. Nutini [et al.]. — 2016. — arXiv: 1612.07838 [math.NA].

9. Васильченко Г. П., Светлаков А. А. Проекционный алгоритм решения систем линейных алгебраических уравнений большой размерности // Ж. вычисл. матем. и матем. физ. — 1980. — Т. 20, № 1. — С. 3— 10.

10. Elfving T. Block-iterative methods for consistent and inconsistent linear equations // Numer. Math. — 1980. — Vol. 50, no. 1. — P. 1-12.

11. Needell D., Tropp J. A. Paved with good intentions: Analysis of a randomized block kaczmarz method // Linear Algebra and its Applications. — 2014. — Vol. 441. — P. 199-221.

12. Ivanov A., Zhdanov A. Kaczmarz algorithm for Tikhonov regularization problem // Appl. Math. E-Notes. — 2013. — Vol. 13. — P. 270-276.

13. Zhdanov A. I. Implicit iterative schemes based on singular decomposition and regularizing algorithms // Vestn. Samar. Gos. Tekhn. Univ., Ser. Fiz.-Mat. Nauki [J. Samara State Tech. Univ., Ser. Phys. Math. Sci.] — 2018. — Vol. 22, no. 3. — P. 549-556. — DOI: 110.14498/vsgtu1592.

14. Брантон С. Л., Куц Д. Н. Анализ данных в науке и технике. Машинное обучение, динамические системы и управление. — М : ДМК-Пресс, 2021. — 542 с.

15. Bjorck A. Numerical Methods in Matrix Computation. — New York : Springer, 2015.

16. Деммель Д. Вычислительная линейная алгебра. Теория и приложения. — М : Мир, 2001. — 430 с.

17. Тихонов А. Н. О решении некорректно поставленных задач и методе регуляризации // Докл. АН СССР. — 1963. — Т. 151, № 3. — С. 501— 504.

18. Saad Y. Iterative Methods for Sparse Linear Systems. — Philadelphia, PA, USA : Society for Industrial, Applied Mathematics, 2003. — xviii+528 pp.

20. Голузин Г., Крылов В. Обобщение формулы Карлемана и приложение ее к аналитическому приложению функций // Мат. сб. — 1933. — Т. 40, № 1. — С. 144—149.

21. Малкин И. Определение толщины однородного притягивающего слоя // Тр. Ин-та им. Стеклова. — 1932. — Т. 2, № 4. — С. 17—26.

22. Лаврентьев М. О некоторых некорректных задачах математической физики. — Новосибирск : Изд-во СО АН СССР, 1962. — 92 с.

23. Иванов В. О приближенном решении операторных уравнений первого рода // Ж. вычисл. матем. и матем. физ. — 1966. — Т. 6, № 6. — С. 1089—1094.

24. Иванов В. Теория приближенных методов и ее применение к численному решению сингулярных интегральных уравнений. — Киев : Навук. думка, 1968. — 287 с.

25. Крянев А. Итерационный метод решения некорректных задач // Ж. вычисл. матем. и матем. физ. — 1974. — Т. 14, № 1. — С. 25—35.

26. Бакушинский А. Один общий прием построения регуляризующих алгоритмов для линейного некорректного уравнения в гильбертовом пространстве // Ж. вычисл. матем. и матем. физ. — 1974. — Т. 7, № 3. — С. 672—677.

27. Бакушинский А., Гончарский А. Итеративные методы решения некорректных задач. — М : Наука, 1989. — 127 с.

28. Groetsch G. Sequential régularisation of ill-posed problems involving unbounded operations // Commentationes mathematicae universitatis Carolinae. Cincinnati. — 1977. — Т. 18, № 3. — С. 489—498.

29. Лисковец О., Савчук В. Об одном итеративном методе решения уравнений 1-го рода // Вопр. приклад. математики : сб. науч. ст. / СО АН СССР. — 1975. — С. 159—166.

31. Лисковец О., Савчук В. Метод простых итераций с попеременно чередующимся шагом для уравнений I-го рода // Докл. АН БССР. — 1977. — Т. 21, № 1. — С. 9—13.

32. Денисов А. Введение в теорию обратных задач. — М : Изд-во МГУ, 1994. — 207 с.

33. Самарский А., Вабищевич П. Численные методы решения обратных задач математической физики. — М : Едиториал УРСС, 2004. — 480 с.

34. Rebrova E., Needell D. On block Gaussian sketching for the Kaczmarz method // Numer Algor. — 2021. — Vol. 86. — P. 443-473. — DOI: 10.1007/s11075-020-00895-9.

35. Selectable Set Randomized Kaczmarz / Y. Yaniv [et al.]. — 2021. — DOI: 10.48550/ARXIV.2110.04703. — URL: https://arxiv.org/abs/ 2110.04703.

36. Randomized Kaczmarz with averaging / J. D. Moorman [et al.] // BIT Numerical Mathematics. — 2021. — Vol. 61, no. 1. — P. 337-359. — DOI: 10.1007/s10543-020-00824-1.

37. Iterated fractional Tikhonov regularization / D. Bianchi [et al.] // Inverse Problems. — 2015. — Vol. 31, no. 5. — P. 055005.

38. Buccini A., Donatelli M., Reichel L. Iterated Tikhonov regularization with a general penalty term // Numerical linear algebra with applications. — 2017. — Vol. 24, no. 4. — e2089.

39. Кабанихин С. И. Обратные задачи и искусственный интеллект // Успехи кибернетики. — 2021. — Т. 2, № 3. — С. 33—43. — DOI: 10. 51790/2712-9942-2021-2-3-5.

40. Kaczmarz S. Angenäherte Auflösung von Systemen linearer Gleichungen // Bull. Int. Acad. Polon. Sci. A. — 1937. — № 35. — С. 100—120.

41. Gordon R., Bender R., Herman G. T. Algebraic Reconstruction Techniques (ART) for three-dimensional electron microscopy and X-ray photography //J. Theor. Biol. — 1970. — Vol. 29, no. 3. — P. 477481. — DOI: 10.1016/0022-5193(70)90109-8.

42. Li H., Haltmeier M. The Averaged Kaczmarz Iteration for Solving Inverse Problems // SIAM Journal on Imaging Sciences. — 2018. — Jan. — Vol. 11, no. 1. — P. 618-642. — DOI: 10.1137/17m1146178. — URL: http://dx.doi.org/10.1137/17M1146178.

43. Slagel J. T. Row-Action Methods for Massive Inverse Problems : PhD thesis / Slagel J. Tanner. — Blacksburg, Virginia : Virginia Polytechnic Institute, State University, 05/2019.

44. Lin C, Herman G. T., Zibetti M. Enhancement of the Kaczmarz algorithm with projection adjustment // Numer Algor. — 2019.

45. A Regularized Randomized Kaczmarz Algorithm for Large Discrete Ill-Posed Problems / L. Fengming [et al.] // Transactions of Nanjing University of Aeronautics and Astronautics. — 2020. — Vol. 37, no. 5. — P. 787-796.

46. Zouzias A., Freris N. M. Randomized Extended Kaczmarz for Solving Least Squares // SIAM Journal on Matrix Analysis and Applications. — 2013. — Vol. 34, no. 2. — P. 773-793. — DOI: 10.1137/ 120889897.

47. Bai Z.-Z, Wu W.-T. On partially randomized extended Kaczmarz method for solving large sparse overdetermined inconsistent linear systems // Linear Algebra and its Applications. — 2019. — Vol. 578. — P. 225-250. — DOI: 10.1016/j.laa.2019.05.005.

48. Pleszczynski M. Implementation of the computer tomography parallel algorithms with the incomplete set of data // PeerJ Computer Science. — 2021. — Vol. 7, e339. — DOI: 10.7717/peerj-cs.339.

49. Morozov V. A. On the solution of functional equations by the method of regularization // Dokl. Akad. Nauk SSSR. — 1966. — Vol. 167, no. 3. — P. 510-512.

51. Gfrerer H. An a posteriori parameter choice for ordinary and iterated Tikhonov regularization of ill-posed problems leading to optimal convergence rates // Mathematics of computation. — 1987. — Vol. 49, no. 108. — P. 507-522.

52. Raus T. The principle of the residual in the solution of ill-posed problems with non-selfadjoint operator // Fluchen. Zap. Tartu Gos. Univ. — 1985. — No. 715. — P. 12-20.

53. Wahba G. Practical approximate solutions to linear operator equations when the data are noisy // SIAM Journal on Numerical Analysis. — 1977. — Vol. 14, no. 4. — P. 651-667.

54. Golub G. H., Heath M., Wahba G. Generalized cross-validation as a method for choosing a good ridge parameter // Technometrics. — 1979. — Vol. 21, no. 2. — P. 215-223.

55. Miller K. Least squares methods for ill-posed problems with a prescribed bound // SIAM Journal on Mathematical Analysis. — 1970. — Vol. 1, no. 1. — P. 52-74.

56. Hansen P. C. Analysis of discrete ill-posed problems by means of the L-curve // SIAM review. — 1992. — Vol. 34, no. 4. — P. 561-580.

57. Bauer F., Lukas A. Comparing parameter choice methods for regular-ization of ill-posed problems // Mathematics and Computers in Simulation. — 2011. — Vol. 81, no. 9. — P. 1795-1841.

58. Tanabe K. Projection Method for Solving a Singular System of Linear Equations and its Applications // Numer. Math. — 1971. — Vol. 17, no. 3. — P. 203-214.

59. Ильин В. П. Об итерационном методе Качмажа и его обобщениях // Сиб. журн. индустр. матем. — 2006. — Т. 9, № 3. — С. 39—49.

61. Zouzias A., Freris N. M. Randomized Extended Kaczmarz for Solving Least Squares // SIAM Journal on Matrix Analysis and Applications. — 2013. — Jan. — Vol. 34, no. 2. — P. 773-793. — DOI: 10.1137/120889897. — URL: http://dx.doi.org/10.1137/120889897.

62. Lee Y. T, Sidford A. Efficient Accelerated Coordinate Descent Methods and Faster Algorithms for Solving Linear Systems. — 2013. — arXiv: 1305. 1922 [cs.DS].

63. Liu J., Wright S. J.and Sridhar S. An Asynchronous Parallel Randomized Kaczmarz Algorithm. — 2014. —URL: https://arxiv.org/abs/ 1401.4780.

64. Ma A., Needell D., Ramdas A. Convergence properties of the randomized extended Gauss-Seidel and Kaczmarz methods. — 2015. — arXiv: 1503.08235 [math.NA].

65. Johnson W. B., Lindenstrauss J. Extensions of lipschitz mappings into a hilbert space // Contemporary mathematics. — 1984. — Vol. 26. — P. 189-206.

66. Eldar Y. C, Needell D. Acceleration of randomized Kaczmarz methods via the Johnson - Lindenstrauss Lemma // Numer. Algor. — 2011. — Vol. 58. — P. 163-177.

67. Griebel M., Oswald P. Greedy and randomized versions of the multiplicative Schwarz method // Linear Algebra Appl. — 2012. — Vol. 437. — P. 1596-1610.

68. Niu Y.-Q., Zheng B. A greedy block Kaczmarz algorithm for solving large-scale linear systems // Applied Mathematics Letters. — 2020. — Vol. 104. — P. 106294.

69. Гантмахер Ф. Р. Теория матриц. — М : Наука, 1996. — 576 с.

70. Хованский А. В. Регуляризированный метод Гревилля и его применения в трансмиссионной компьютерной томографии // Матем. моделирование. — 1996. — Т. 8, № 11. — С. 109—118.

72. Жданов А. И. Введение в методы решения некорректных задач: Учеб. пособие. — Самара : Изд-во Самарского гос. аэрокосмического ун-та, 2006. — 87 с.

73. Pan V., Schreiber R. An Improved Newton Interaction for the Generalized Inverse of a Matrix, with Applications // SIAM J. Sci. Stat. Comput. — 1991. — Vol. 12. — P. 1109-1130.

74. Kaur M., Kansal M., Kumar S. An Efficient Matrix Iterative Method for Computing Moore-Penrose Inverse // Mediterranean Journal of Mathematics. — 2021. — Vol. 18, no. 42. — DOI: https://doi. org/10.1007/s00009-020-01675-4.

75. Hansen P. REGULARIZATION TOOLS: A Matlab package for analysis and solution of discrete ill-posed problems // Numer Algor. — 1994. — Vol. 6. — P. 1-53.

76. Hansen P. Regularization Tools Version 4.0 for Matlab 7.3 // Numer Algor. — 2007. — Vol. 46. — P. 189-194.

77. Воеводин В. В., Кузнецов Ю. Л. Матрицы и вычисления. — М : Мир, 1984. — 320 с.

78. Hastie T. Ridge Regularization: An Essential Concept in Data Science //Technometrics. — 2020. — P. 1-8. — DOI: 10.1080/00401706. 2020.1791959. — eprint: https://doi.org/10.1080/00401706.2020. 1791959. — URL: https://doi.org/10.1080/00401706.2020.1791959.

79. Вайникко Г. М., Веретенников А. Ю. Итерационные процедуры в некорректных задачах. — М : Наука, 1986.

80. Regularized System Identification: Learning Dynamic Models from Data / G. Pillonetto [и др.]. — Cham : Springer International Publishing, 2022. — 377 с.

81. Бакушинский А., Гончарский А. В. Некорректные задачи. Численные методы и приложения. — М : Изд-во Моск. ун-та, 1989.

83. Особенности теории и практики научной школы МГТУ им. Н.Э. Баумана «Разработка вариосистем» / О. В. Рожков [и др.] // Компьютерная оптика. — 2018. — Т. 42, № 1. — С. 72—83. — DOI: 10.18287/24126179-2018-42-1-72-83.

84. Donoho D. Compressed sensing // IEEE Trans. Inform. Theory. — 2006. — Vol. 52. — P. 1289-1306.

85. Bruckstein A. M., Donoho D. L., Elad M. From sparse solutions of systems of equations to sparse modeling of signals and images // SIAM Rev. — 2009. — Vol. 51. — P. 34-81.

86. Torun F. S., Manguoglu M., Aykanat C. Parallel Minimum Norm Solution of Sparse Block Diagonal Column Overlapped Underdetermined Systems // ACM Trans. Math. Softw. — New York, NY, USA, 2017. — Vol. 43, no. 4. — DOI: 10.1145/3004280.

87. A Stabilized GMRES Method for Solving Underdetermined Least Squares Problems / Z. Liao [et al.]. — 2020. — arXiv: 2007.10853 [math.NA].

88. Bjorck A., T. E. Accelerated projection methods for computing pseudoinverse solutions of systems of linear equations // BIT Numerical Mathematics. — 1979. — Vol. 19, no. 2. — P. 145-163.

89. Herman G., Lent A., Rowland S. W. ART: Mathematics and applications // Journal of Theoretical Biology. — 1973. — Vol. 42. — P. 132.

90. Bjorck A. Iterative refinement of linear least squares solutions // BIT Numerical Mathematics. — 1967. — Vol. 7, no. 4. — P. 257-278.

91. Herndon W. On balancing chemical equations: Past and present // Journal of Chemical Education. — 1997. — Vol. 74, no. 11. — P. 13591365.

93. Soleimani F., Stanimirovic P. Some Matrix Iterations for Computing Generalized Inverses and Balancing Chemical Equations // Algorithms. — 2015. — Vol. 8, no. 4. — P. 982-998.

94. Sen S., Agarwal H., Sen K. Chemical equation balancing: An integer programming approach // Mathematical and Computer Modelling. — 2006. — Vol. 44, no. 7. — P. 678-691. — DOI: 10.1016/j.mcm.2006. 02.004.