Разработка, исследование и реализация алгоритмов программного комплекса "Нейроматематика" тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат физико-математических наук Коробкова, Светлана Викторовна

• Коробкова, Светлана Викторовна
• кандидат физико-математических наук
• 2008

Оглавление диссертации кандидат физико-математических наук Коробкова, Светлана Викторовна

ВВЕДЕНИЕ

1. Актуальность исследования

2. Цели и задачи исследования

3. Объект исследования

4. Предмет исследования

5. Методологическая и теоретическая основа исследования

6. Информационная база исследования

7. Научная новизна исследования

8. Практическая значимость работы

9. Апробация результатов исследования

10. Перечень базисных положений, выносимых на защиту

11. Краткое описание структуры диссертационной работы

ГЛАВА 1. Основные принципы построения нейросетевых программных комплексов, 9 ориентированных на решение задач большой размерности.

1.1 Общая структура нейросетевых программных комплексов.

1.1.1 Функции и компоненты ядра нейросетевого программного комплекса

1.1.2 Функции и компоненты модулей решения практических задач программного 19 комплекса

1.2 Реализация предложенного подхода к разработке нейросетевых программных 20 комплексов в программном комплексе «Нейроматематика».

Выводы.

ГЛАВА 2. Методы повышения эффективности нейросетевых алгоритмов.

2.1 Маршрут проектирования нейросетевых алгоритмов решения практических задач

2.2 Методы формирования обучающей и тестирующей выборки

2.3 Методы задания начальных условий при решении задач аппроксимации функций

2.4 Параллельная реализация нейросетевых алгоритмов

2.4.1 Параллельная реализация нейронных сетей для кластерных вычислительных 32 систем и систем с общей памятью

2.4.2 Специфика параллельной реализации нейросетевых алгоритмов на графических 43 процессорах

Выводы.

ГЛАВА 3. Решение практических задач с использованием разработанных методов

3.1 Задача определения гранулометрического состава окомкованного материала

3.1.1 Физическая постановка задачи

3.1.2 Нейросетевая постановка задачи

3.1.3 Формирование начальных условий для обучения нейронной сети при решении 57 задачи определения гранулометрического состава окомкованного материала.

3.1.4. Метод увеличения обучающей выборки при решении задачи определения 62 гранулометрического состава окомкованного материала

3.2 Задачи аэродинамики

3.2.1 Описание задачи управления самолетом с помощью эжекции на крыльях

3.2.2 Математическая постановка задачи управления самолетом с помощью эжекции на 66 крыльях

3.2.3 Описание задачи прогнозирования ветровой обстановки в застроенных кварталах

3.2.4 Математическая постановка задачи прогнозирования ветровой обстановки в 68 застроенных кварталах

3.2.5 Нейросетевая постановка задачи

3.3 Исследование точности и скорости работы предложенных нейросетевых алгоритмов 77 решения практических задач при помощи программного комплекса «Нейроматематика»

3.3.1 Исследование точности и скорости решения задачи определения 77 гранулометрического состава окомкованного материала

Введение диссертации (часть автореферата) на тему «Разработка, исследование и реализация алгоритмов программного комплекса "Нейроматематика"»

Нейросетевые методы являются актуальными для решения реальных практических задач. Многие современные задачи являются сложно формализуемыми и связаны с большими вычислительными затратами при их решении в связи с их большой размерностью. Нейросетевые алгоритмы решения таких задач позволяют на практике достичь большей точности понизить время их решения.

Данная диссертационная работа посвящена актуальной теме исследования и разработки методов построения программных систем, ориентированных на нейросетевое решение практических задач с учетом аппаратных возможностей современных вычислительных систем, обеспечивающих параллельную обработку больших объемов данных, высокую эффективность работы готовых приложений при решении практических задач, предоставляющих удобный пользовательский интерфейс и средства контроля параллельного выполнения задач.

В настоящее время существует ряд реализаций подобного подхода, но есть потребность в разработке программной среды, позволяющей создавать решения реальных практических задач с обеспечением возможности расширения разработанного пакета, снижения сложности программирования при проектировании решения практических задач, повышения скорости работы готового приложения.

Основное внимание при рассмотрении нейросетевого подхода к решению задач, как правило, уделяется различным алгоритмам нейросетевой обработки. Теоретические аспекты нейросетевой обработки данных активно изучаются как в России, так и за рубежом. В данной работе рассмотрены вопросы реализации методов нейросетевой обработки данных и методов построения программных средств на их основе.

Основными свойствами такого нейросетевого программного комплекса являются возможность реализации решения конкретных практических задач большой размерности с использованием возможности параллельного счета на кластерных системах и графических платах, возможность расширения программного комплекса путем добавления модулей решения практических задач, расширения библиотеки нейросетевых алгоритмов, поддерживаемых программным комплексом, а также поддержки новых средств аппаратного ускорения вычислений.

Предлагаемые в диссертационной работе методы построения нейросетевых программных систем реализованы на примере программного комплекса «Нейроматематика».

Особенностью решения практических задач большой размерности с помощью нейронных сетей является сложность формирования обучающей выборки достаточного размера и повышенные требования к точности и скорости работы алгоритмов решения задач.

Для реализации предъявленных требований необходима разработка нейросетевых алгоритмов и подходов, позволяющих оптимизировать разработку нейросетевых решений практических задач и улучшить время и точность их решения.

В диссертационной работе рассматриваются вопросы, связанные с формированием обучающей выборки и заданием начальных условий при обучении нейронных сетей и эффективной параллельной реализации нейросетевых алгоритмов.

При обучении нейронной сети возникает проблема формировании обучающей выборки, когда сбор данных является трудоемким или дорогостоящим процессом. Методы предлагаемые в данной работе направлены на уменьшение затрат на формирование выборки и сбор данных.

В настоящее время, как правило, задание начальных условий при обучении нейронных сетей осуществляются на базе случайного выбора. Задание специальных начальных условий позволяет отказаться от случайного выбора. Выбор начального состояния сети, с учетом специфики задачи, дает как ускорение процесса обучения, так и улучшение точности получаемого результата. В диссертационной работе предложены методы задания начальных условий нейронной сети для довольно широкого класса решаемых задач.

Большие объемы данных, которые требуется обрабатывать во многих практических задачах, и естественный внутренний параллелизм нейронных сетей обуславливают необходимость параллельной реализации нейросетевых алгоритмов решения практических задач большой размерности.

Предлагаемые и реализованные в рамках программного комплекса «Нейроматематика» методы направлены на повышение эффективности его работы.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Коробкова, Светлана Викторовна

Выводы.

В данной главе приведены постановки и методы нейросетевого решения практических задач, на которых показана работа эффективность предложенных методов повышения скорости и точности работы нейросетевых алгоритмов для практических задач. Решение задач определения гранулометрического состава окомкованного материала и задач расчета аэродинамических параметров среды реализовано в виде модулей программного комплекса «Нейроматематика» согласно принципам построения нейросетевых программных комплексов.

Для рассмотренных задач показаны способы задания начальных условий и работы с обучающей выборкой, что позволило существенно улучшить точность полученного решения. При решении задач аэродинамики рассмотрены способы параллельной реализации для кластерных архитектур и графических плат. Приведены результаты сравнения предложенных решений с используемыми ранее, показывающие эффективность новых методов.

ЗАКЛЮЧЕНИЕ

Обобщая результаты диссертационной работы, следует отметить, что для решения часто встречающихся проблем в практике разработки нейросетевых программных пакетов обработки данных большой размерности требуется решение следующих практических и теоретических задач:

- проектирование и разработка универсальных пакетов как с точки зрения их использования, так и по способам их программно-аппаратной реализации;

- решение проблем так называемой малой обучающей выборки и эффективного задания начальных условий при обучении сети.

В диссертационной работе предложен метод построения программных систем нейросетевой обработки данных, позволяющий эффективно решать практические задачи большой размерности, в том числе, на вычислительных системах с параллельной архитектурой и графических платах с учетом приведенных особенностей.

В рамках диссертационной работы разработаны новые методы и алгоритмы, позволяющие повысить точность результата и сократить время работы нейронных сетей, в том числе: методы и алгоритмы формирования обучающей выборки в случае небольшого объема исходных данных для решения задач с помощью нейронных сетей; методы задания начальных условий нейронной сети, позволяющие повысить точность работы нейросетевого алгоритма и сократить время обучения нейронной сети. Один из методов основан на использовании коэффициентов соответствующего задаче оптимального фильтра в качестве начальных значений весов нейронной сети. Второй метод заключается в обучении нейронной сети на упрощенных модельных данных, результаты которого считаются начальными условиями нейронной сети; методы параллельной реализации нейросетевых алгоритмов для нейронных сетей прямого распространения и клеточных нейронных сетей в применении к кластерным вычислительным системам и графическим платам.

На основе предложенного подхода, разработаны основные решения программного комплекса «Нейроматематика». Решение практических задач (определение гранулометрического состава окомкованного материала, исследования аэродинамических параметров среды и другие) с использованием разработанных средств подтвердило эффективность предложенных методов решения вышеуказанных проблем и разработанных программных средств.

Список литературы диссертационного исследования кандидат физико-математических наук Коробкова, Светлана Викторовна, 2008 год

1. Галушкин А.И. Теория нейронных сетей. М.: Радиотехника, 2000. 416 с.

2. Галушкин А.И., Судариков В. А., Шабанов Е. Н. Нейроматематика: методы решения задач на нейрокомпьютерах. Математическое моделирование. М., 1991,- Т. 3, N8, с.101-106.

3. Коллективная монография под редакцией Галушкина А.И. Нейроматематика. М.: Радиотехника, 2002. 448 с.

4. Walt Kester Practical Analog Design Techniques. Analog Devices Inc, 1995. 352 p.

5. Walt Kester Mixed-signal and DSP Design Techniques. Engineering Staff Analog Devices Inc. 1997.412 р.

6. Steven W. Smith The Scientist and Engineer's Guide to Digital Signal Processing. California Technical Publishing, 1997. 640 p.

7. Галушкин А.И. Синтез многослойных систем распознавания образов. М.: Энергия, 1974. 235 с.

8. Розенблатт Ф. Принципы нейродинамики. М.: Мир, 1964. 375 с.

9. Головко В.А. Нейронные сети: обучение, организация и применение. М.: Радиотехника, 2001.256 с.

10. Уоссерман Ф. Нейрокомпьютерная техника. М.: Мир, 1992. 319 с.

11. Хайкин С. Нейронные сети. М.: Вильяме, 2006. 1104 с.

12. Галушкин А.И. Решение задач в нейросетевом логическом базисе. Нейрокомпьютеры: разработка, применение. № 2. М.: Радиотехника, 2006. с. 49-70.

13. Белоцерковский О.М., Давыдов Ю.М. Метод крупных частиц в газовой динамике. Вычислительный эксперимент. М.: Наука, 1982. 391 с.

14. Харлоу Ф. Численный метод частиц в ячейках для гидродинамики. Вычислительные методы в гидродинамике. М.: Мир, 1967. с.316-342.

15. Jens Kruger, Thomas Schiweitz, Peter Kipfer, Rudiger Westermann Numerical Simulations on PC Graphics Hardware. Recent Advances in Parallel Virtual Machine and Message Passing Interface. Berlin: Springer, 2004. p. 442-449.

16. Kayvon Fatahalian, Jeremy Sugerman, Pat Hanrahan Understanding the Efficiency of GPU Algorithms for Matrix-Matrix Multiplication. In Proceedings of the ACM Sigraph/Eurographics Conference on Graphics hardware. NY: ACM, 2004. p. 133-138.

17. Jens Kruger, Rudiger Westermann Linear Algebra Operators for GPU Implementation of Numerical Algorithms. ACM SIGGRAPH 2003 Papers. NY: ACM, 2003. p. 908-916.

18. Jens Kruger, Rudiger Westermann GPU Simulation and Rendering of Volumetric Effects for Computer Games and Virtual Environments. Computer Graphics Forum, 2005, Vol. 24. p. 685693.

19. Qizhi Yu, Chongcheng Chen, Zhigeng Pan: Parallel Genetic Algorithms on Programmable Graphics Hardware. Proceedings of Advances in Natural Computation, First International Conference, 2005. p. 1051-1059.

20. Changhao Jiang, Marc Snir, Automatic Tuning Matrix Multiplication on Graphics Hardware. Proceedings of 14th International Conference on Parallel Architectures and Compilation Techniques (PACT'05). 2005. p. 185-196.

21. Chandrajit Bajaj, Insung Ihm, Jungki Min, Jinsang Oh SIMD Optimization of Linear Expressions for Programmable Graphics Hardware. Computer Graphics Forum2004, Volume 23, Issue 4. p. 697-714.

22. Kenneth Moreland and Edward Angel. "The FFT on a GPU." In SIGGRAPH/Eurographics Workshop on Graphics Hardware 2003 Proceedings, 2003. p. 112-119.

23. Ruigang Yang Dense Matrix Algebra on the GPU. Computational and Information Science. Berlin: Springer, 2005. p. 1100-1105.

24. Fast Matrix Multiplies using Graphics Hardware. PDF. (http://\wvw.cs.unc.edu/~larsene/papers/sc2001 .pdf)

25. C. Trendall and A.J. Stewart, "General calculations using graphics hardware with application to interactive caustics," In Rendering Techniques '00 (Proc. Eurographics Rendering Workshop), Springer, 2000. p. 287-298.

26. Nelson S.-H. Chu and C.-L. Tai, MoXi: Real-Time Ink Dispersion in Absorbent Paper, ACM Transactions on Graphics (SIGGRAPH 2005 issue), Vol. 24, No. 3, August 2005. p. 341-349.

27. Workshop: GPUs as Mathematical Coprocessors in Finite-Element Simulations. PDF. (http://www.mathematik.uni-dortmund.de/~goeddeke/workshop/index.html)

28. Open-Source Direct3D Fluid Simulation Library Released. PDF. (http://www.strangebunny.com/techdemostokes.php)

29. Youquan Liu, Xuehui Liu and Enhua Wu Real-Time 3D Fluid Simulation on the GPU with Complex Obstacles. Proceedings of Pacific Graphics 2004. p. 247-256.

30. Rosario De Chiara, Ugo Erra, Vittorio Scarano, Maurizio Tatafiore Massive Simulation using GPU of a distributed behavioral model of a flock with obstacle avoidance. Proceedings of 9th Internation Fall Workshop.

31. Stanimire Tomov, Michael D. McGuigan, Robert Bennett, Gordon Smith, John Spiletic:Benchmarking and Implementation of Probability-Based Simulations on Programmable Graphics Cards. Computers & Graphics, 2005, Volume 29. p. 71-80.

32. Kyoung-Su Oh, Keeghul Jung GPU implementation of neural networks. Pattern Recognition 37 2004. p. 1311-1314.34. www.gpgpu.org

33. Andreas S. Weigend, Neil A. Gershenfeld Results of the time series prediction competition at the Sante Fe Institute. Proceedings of IEEE International conference on Neural Networks, vol. 3, San Francisco: IEEE Press, 1993. p. 1786-1793.

34. Б. Уидроу, С. Стирнз Адаптивная обработка сигналов. М.: Радио и Связь, 1989. 440 с.

35. Баранов С.Н., Куравский J1.C. Акустические вибрации тонкостенных конструкции: моделирование, оптимизация и диагностика. М.: ООО РусАвиа, 2001. 213 с.

36. Галушкин А.И. Нейронные сети и проблема малой выборки. Труды V Всероссийской конференции «Нейрокомпьютеры и их применение», М.: Радиотехнаика, 1999. с. 167-179.

37. Archer Norman P., Wang Shonhong Learning bias in neural networks and an approach to controlling its effects in monotonic classifications. IEEE Trans. Pattern Anal. And Mach. Intell. 1993. 15, v9. p. 962-966.

38. Zador Anthony M., Pearlmutter Barak A. VC dimension of an integrate-and-fireneuron model. Neural Comput. 1996. 8, №3 p. 624.

39. Bartlett Peter L., Williamson Robert C. The VC dimension and pseudo dimension of two-layer neural networks with discrete inputs. Neural Comput. 1996, 8, №3. p. 625-628.

40. Hole A. Some variants on a theorem of Vapnik. Prepr. Ser. Pure Math., Inst. Math. Univ. Oslo 1995, №30 p. 1-11.

41. Hole Arne. Vapnik-Chervonenkis generalization bounds for real valued neural networks. Neural Comput. 1996, 8, №6 p. 1277-1299.

42. Tzafestas S.G., Dalianis P.J., Anthopoulos G.C. On the overtraining phenomenon of backpropagation neural networks. Math. And Comput. Simul. 1996, 40, №5 6. p. 507 - 520.

43. B. Efron Bootstrap methods: another look at the jackknife. Ann. Statist., 1979, vol. 7, p. 1-26.

44. Sean B. Holden How practical are VC dimension bounds? Proceedings of IEEE World Congress on Computational Intelligence., 1994 IEEE International Conference on Neural Networks, 1994, vol 1. IEEE Press, p. 327-332.

45. Byoung-Tak Zhang An incremental algorithm that optimizes network size and sample size in one trial. Proceedings of IEEE World Congress on Computational Intelligence., 1994 IEEE International Conference on Neural Networks, 1994. p. 215-220.

46. Goutam Chakraborty, Norio Shiratori, Shoichi Noguchi Optimization of Overtraining and overgeneralization. Proc. Int. Jt. Conf. Neural Networks, Nagoya, 1993, Vol. 3. p. 2257-2262.

47. Yoshihiko Hamamoto, Shunji Uchimura, Taiho Kanaoka, Shingo Tomita Evaluation of artificial neural network classifiers in small sample size situations. Pros. Int. It. Conf. Neural Networks, Nagoya, 1993. p. 1731-1735.

48. Norman P. Archer, Shouhong Wang Learning bias in neural networks and an approach to controlling its effects in monotonic classification. IEEE Transactions on Pattern Analysis and Machine Intelligence. 1993, vol. 15, No. 9. USA: IEEE Press, p.962-966.

49. S.G. Tzafestas, P.J.Dalianis, G. Anthopoulos On the overtraining phenomenon of backpropagation neural networks. Mathematics and Computers in Simulation. Elsevier, 1996.

50. C.E. Martin, S.K. Rogers, D.W. Ruck Neural network bias error estimation. Proc. IEEE ICNN'94, 1994. p. 305-308.

51. Воронцов К. В. Обзор современных исследований по проблеме качества обучения алгоритмов. Таврический вестник информатики и математики. 2004. с. 11-31.

52. Галушкин А.И. Расчет и проектирование оптимальных дискретных фильтров, сб. «Автоматическое управление и вычислительная техника», вып.9, М.: Машгиз, 1968. 234 с.

53. Галушкин А.И. Формирование начальных условий для ускорения процесса настройки нейронных сетей. Нейрокомпьютеры: разработка, применение. 2005, № 6. М.: Радиотехника, с. 12-19.

54. SudararajanN., Saratchandran P. Parallel Architectures for Artificial Neural Networks. USA: IEEE Computer Society Press, 1998. 409 p.