Погрешности в нейронных сетях тема диссертации и автореферата по ВАК РФ 05.13.16, кандидат физико-математических наук Сенашова, Мария Юрьевна

• Сенашова, Мария Юрьевна
• кандидат физико-математических наук
• 1998

Оглавление диссертации кандидат физико-математических наук Сенашова, Мария Юрьевна

Содержание

Введение

1. Обзор литературы по погрешностям аналоговых элементов и

нейронных сетей

2. Метод обратного распространения точности для сигналов

нейронных сетей

2.1. Гарантированные интервальные оценки погрешностей сигналов

сети

2.2. Гарантированные интервальные оценки погрешностей для элементов сети с собственными погрешностями

2.3. Анализ реализуемости сетей с собственными погрешностями элементов для гарантированных интервальных оценок

2.4. Среднеквадратические оценки погрешностей сигналов

сети

2.5. Среднеквадратические оценки погрешностей для элементов

сети с собственными погрешностями

2.6. Анализ реализуемости сетей с собственными погрешностями элементов для среднеквадратических оценок

2.7. Типы входных сигналов нейронных сетей

3. Метод обратного распространения точности для весов синапсов нейронных сетей

3.1. Гарантированные интервальные оценки погрешностей весов синапсов

3.2. Среднеквадратические оценки погрешностей весов синапсов

4. Упрощение нейронных сетей

4.1. Теорема существования бинаризованного вида сумматоров

для рациональных весов синапсов

4.2. Бинаризация весов синапсов сумматора при помощи

цепных дробей

Численные эксперименты

Заключение

Список использованной литературы

Введение диссертации (часть автореферата) на тему «Погрешности в нейронных сетях»

Введение

Актуальность темы

Задача оценки точности вычислений актуальна с тех пор, как люди начали вычислять. Погрешности вычислений возникают из-за неточных входных данных, из-за погрешностей, вносимых на отдельных этапах вычисления, из-за погрешностей самих методов вычисления.

Каждый раз, когда возникает новая область практики вычислений, вместе с ней появляется и необходимость оценивать погрешности этих вычислений.

Интерес к нейронным сетям переживает в настоящее время очередной всплеск. Это вызвано тем, что они являются удобным и достаточно простым инструментом для создания различных экспертных систем, решения задачи классификации и извлечения знаний из данных и, кроме того, дают возможность высокопараллельных реализаций.

Рассматривая нейронную сеть как набор элементов, производящих некоторые вычисления над приходящими к ним данными, можно оценивать точность вычислений как для сети в целом, так и для каждого отдельного элемента. Для нейронной сети можно решать две задачи, относящиеся к оценке точности ее работы: прямую и обратную. Под прямой задачей понимается оценка погрешностей выходных сигналов сети, если заданы погрешности входных сигналов и погрешности элементов сети. Наиболее близки к этой задаче методы оценки погрешностей счетно-решающих устройств на основе аналоговых элементов [1 -4].

Гораздо больший интерес представляет обратная задача. Под обратной задачей понимается оценка погрешностей внутренних сигналов сети, ее входных сигналов и весов синапсов по заданным погрешностям выходных сигналов сети.

В работе анализируются допустимые погрешности сигналов и параметров нейронной сети, решается обратная задача оценки погрешностей. Для ее решения создан метод обратного распространения точности. Он позволяет строить интервалы, в которых могут изменяться внутренние и входные сигналы сети при заданном интервале погрешностей выходных сигналов сети. Ранее близкие идеи были использованы Дж. Уилкинсоном [25] для анализа вычислительных алгоритмов линейной алгебры (Тьюринговская премия 1970 г.)

Цель работы

Целью работы является:

- получение гарантированных интервальных и среднеквадратических оценок допустимых погрешностей сигналов сети для элементов стандартного нейрона как с учетом собственных погрешностей элементов, так и без них;

- анализ реализуемости сетей с заданными собственными погрешностями элементов;

- получение гарантированных интервальных и среднеквадратических оценок допустимых погрешностей весов синапсов;

- анализ различных типов входных сигналов сети (дискретное множество примеров, непрерывные области входных данных в виде многомерного шара и прямоугольника);

- упрощение сетей (приведение вещественных весов синапсов к значениям -1,0,1) при вычисленных допустимых погрешностях весов синапсов.

Научная новизна

Результаты диссертации являются новыми, в частности, разработан метод обратного распространения точности для сигналов и весов синапсов

нейронных сетей. Метод заключается в функционировании сети с той же системой связей, но в обратном направлении. Причем все элементы сети заменяются на двойственные им элементы специального вида. Эта двойственность отличается от той, которая используется в методе обратного распространения ошибки. В работе получены формулы для вычисления погрешностей весов синапсов и сигналов сети. Разработан еще один способ упрощения нейронных сетей (замена сумматоров с вещественными весами синапсов на каскады сумматоров с весами {-

1Д1}).

Практическая значимость

При помощи полученных в работе формул могут быть вычислены допустимые погрешности входных сигналов сети, могут быть определены такие интервалы изменения входных сигналов сети, при которых погрешности выходных сигналов не превышают заданную.

Вычисление допустимых погрешностей сигналов сети находит применение при создании аналоговой реализации нейронной сети на основе обученного нейроиммитатора.

Вычисление допустимых погрешностей весов синапсов используется при упрощении нейронных сетей для того, чтобы заменять участки сети более простыми, но менее точными элементами, не превышая при этом погрешность выходных сигналов сети.

Апробация работы

Основные результаты работы докладывались и обсуждались на IV, V и VI Всероссийских семинарах "Нейроинформатика и ее приложения" проходивших в г. Красноярске в 1996, 1997 и 1998 годах, на конференциях молодых ученых Красноярского научного центра в 1997 и 1998 годах, на Международной конференции по нейронным сетям в Хьюстоне в 1997

году, на Третьем Сибирском конгрессе по прикладной и индустриальной математике, посвященном памяти С.Л. Соболева (ШРШМ-98).

По теме диссертации опубликовано 14 работ.

Структура диссертации

Диссертация состоит из введения, четырех глав, численных экспериментов, заключения и списка цитируемой литературы из 66 наименований, содержит 18 рисунков и 28 диаграмм. Общий объем диссертации (с учетом иллюстраций) составляет 136 страниц.

Содержание работы

Перейдем теперь к более подробному изложению работы.

В работе рассматриваются компьютерные модели нейронных сетей.

В первой главе дан обзор литературы по погрешностям аналоговых элементов и погрешностям весов синапсов и входных сигналов нейронных сетей.

Во второй главе рассматриваются сети слоистой структуры, состоящие из слоев стандартных нейронов. Стандартный нейрон, состоящий из точки ветвления, нелинейного преобразователя и адаптивного сумматора, является типичным участком любой нейронной сети, поэтому достаточно выяснить, как вычисляются допустимые погрешности для элементов стандартного нейрона.

Рассмотрены два типа оценок допустимых погрешностей сигналов сети: гарантированные интервальные оценки и среднеквадратические оценки отклонений погрешностей.

Вначале рассматриваются гарантированные интервальные оценки погрешностей для элементов стандартного нейрона.

Если известны допустимые погрешности £j (/' - номер выхода) выходных сигналов точки ветвления, то погрешность ее входного сигнала е оценивается следующим образом: е < 1шп{£, .

Погрешность входного сигнала нелинейного преобразователя е вычисляется исходя из неравенства:

1 хе[<р 1(у-£1),<р 0+^1 4

где е\ - погрешность его выходного сигнала, (р - дифференцируемая и строго монотонная функция активации нелинейного преобразователя, у -его точный выходной сигнал. В линейном приближении получена следующая оценка : £ < £\!\(р'{А)\, где А - точный входной сигнал нелинейного преобразователя, 8\ - погрешность его выходного сигнала.

Каждый вход х, сумматора X имеет некоторую погрешность щ, которая вносит свой вклад в допустимую погрешность выходного сигнала сумматора £. Эти погрешности могут иметь различные величины в зависимости от того, какой способ распределения допустимой погрешности выходного сигнала по входам сумматора выбирается. Погрешности по входам сумматора могут распределяться равномерно, пропорционально и приоритетно.

Погрешности входных сигналов сумматора щ для равномерного

распределения оцениваются следующим образом: < £где £ -погрешность выходного сигнала сумматора, а,- веса синапсов соответствующих входов сумматора. Предполагается, что на всех входах погрешности равны между собой = <£■,-,/ = 2,...,п).

При пропорциональном распределении погрешности входных сигналов сумматора £, вычисляются по формуле: £/ < £ / (п ■ |), где е -

допустимая погрешность выходного сигнала сумматора, п - число входов сумматора. В этом случае для каждого входа сумматора погрешность имеет свое значение.

При приоритетном распределении погрешностей по входам сумматора сначала назначаются величины погрешностей ^ для тех входов, которые наиболее значимы по какому-либо признаку. Затем оставшуюся часть допустимой погрешности е- % \щ\щ распределяют

гназ

между остальными входами равномерно или пропорционально.

В формулах для вычисления погрешностей сигналов сети, которые были описаны выше, не выделялся особо тот вклад, который вносят в погрешности сигналов сами элементы. Далее предполагается, что все элементы сети передают приходящие к ним сигналы с некоторыми погрешностями. Предполагается также, что собственные погрешности элементов известны и фиксированы.

Если £(у - собственная погрешность точки ветвления, то погрешность входного сигнала точки ветвления £ не должна превышать - £и,, где щ - погрешности ее выходных сигналов.

Собственная погрешность нелинейного преобразователя может

добавляться или к его выходному сигналу [(р{х) ± |, или к его входному сигналу [ср{х ±8^.

В первом случае для погрешности входного сигнала нелинейного преобразователя £ справедлива следующая оценка:

где £\ - погрешность его выходного сигнала, ср - дифференцируемая и строго монотонная функция активации нелинейного преобразователя, у -его точный выходной сигнал. При этом необходимо, чтобы £^ не

превышало ^. В линейном приближении формула имеет вид:

£< {б1 - £(р)1\(р'{А)\, где А - точный входной сигнал нелинейного преобразователя.

Во втором случае погрешность входного сигнала нелинейного преобразователя £ оценивается по следующей формуле:

где £\ - погрешность его выходного сигнала, (р - дифференцируемая и

строго монотонная функция активации нелинейного преобразователя. В линейном приближении получаем следующую оценку погрешности входного сигнала нелинейного преобразователя: £< где А -

точный входной сигнал нелинейного преобразователя.

Собственная погрешность сумматора может добавляться либо к его п / \

выходному сигналу ( £ щ • + <£/) + ), либо к его входным сигналам

В первом случае равномерно, пропорционально и приоритетно по выше полученным формулам распределяется погрешность £- где £ -

допустимая погрешность выходного сигнала сумматора.

Если же имеет место второй вариант, то допустимые погрешности щ входных сигналов сумматора для равномерного распределения

оцениваются следующим образом: ^ • 1а-г | / , где £ -

погрешность выходного сигнала сумматора. Предполагается дополнительно, что погрешности «?/ равны между собой и собственные

погрешности ££ равны между собой.

£<£\1 шах

<р

/=1

При пропорциональном распределении допустимые погрешности входных сигналов сумматора оцениваются следующим

образом: щ <£ / () - .

Для сетей с собственными погрешностями элементов может возникнуть ситуация, когда собственная погрешность элемента превышает погрешность сигнала, который должен выходить из этого элемента. В этой ситуации нельзя напрямую пользоваться формулами, описанными выше. Допустимые погрешности сигналов сети в такой ситуации следует распределять специальным образом.

Сначала предполагается, что у всех элементов собственные погрешности добавляются к выходным сигналам. Вычисляются частичные погрешности, которые приходят при прямой работе сети от предыдущего

part

слоя на г-ыи вход сумматора следующего слоя: sf = £Ъ1 V£(p+ £tvi где -собственная погрешность сумматора

предыдущего слоя. Затем вычисляется разность • £fart - £. Эта

разность - оставшаяся часть допустимой погрешности выходного сигнала сумматора £ распределяется равномерно по всем входам, чтобы допустимые погрешности входов превышали погрешности элементов на

одну и ту же величину £ = (е - • sPart) / . Допустимые

погрешности входных сигналов сумматора будут равны £i = £?art + £.

Затем предполагается, что собственные погрешности всех элементов добавляются к их входным сигналам. При этом частичные погрешности

sfart вычисляются по формуле: £РаП = • Sf=1 \-£^-\(p\A)\r£tv.

Остальные вычисления для допустимых погрешностей £j проводятся аналогично случаю, когда собственная погрешность добавляется к выходным сигналам сумматора.

Далее рассматривается вычисление среднеквадратических оценок погрешностей сигналов элементов стандартного нейрона.

Предполагается, что внутри каждого слоя погрешности сигналов £1- являются независимыми случайными величинами. Это предположение позволяет налагать менее жесткие требования при вычислении погрешностей сигналов.

Если £^,£>2,...,Ок - дисперсии выходных сигналов точки ветвления, то в качестве дисперсии входного сигнала точки ветвления выбирается тт{1)1}^=1.

Среднеквадратическое отклонение погрешности входного сигнала нелинейного преобразователя вычисляется по формуле сг = сг} / где

<Т| - среднеквадратическое отклонение погрешности его выходного сигнала, (р - дифференцируемая и строго монотонная функция активации, А - точный входной сигнал.

Среднеквадратические отклонения погрешностей входных сигналов сумматора а^ для равномерного распределения определяются следующим

образом: а 1 = а I л/^-^а,2 , где сг - среднеквадратическое отклонение

погрешности выходного сигнала сумматора.

Формула для вычисления пропорционального распределения среднеквадратических отклонений погрешностей сг; по входам

сумматора имеет вид: <тг- = сг / .

При приоритетном распределении среднеквадратические

отклонения погрешностей распределяются по входам сумматора аналогично тому, как распределялись погрешности в случае гарантированных интервальных оценок.

Далее получены формулы для вычисления среднеквадратических отклонений погрешностей в предположении, что все элементы стандартного нейрона имеют собственные погрешности.

Для точки ветвления, имеющей собственную погрешность, дисперсия погрешности ее входного сигнала вычисляется как

/ О

тш{Д};=1 - о ¡у, где 1)1 - дисперсии выходных сигналов точки

ветвления, а сг^ - дисперсия ее собственной погрешности.

Собственная погрешность нелинейного преобразователя может

добавляться либо к выходному сигналу нелинейного преобразователя,

либо к его входному сигналу.

В первом случае дисперсия непосредственно выходного сигнала

нелинейного преобразователя без учета его собственной погрешности

2 2 2 2 равна <уом;п = с7\- сг^, где ст\ - дисперсия выходного сигнала

нелинейного преобразователя, сг^ - дисперсия его собственной погрешности.

Среднеквадратическое отклонение погрешности входного сигнала нелинейного преобразователя сг вычисляется по формуле о = а0М>п1\(р'{Л)\, где <р - дифференцируемая и строго монотонная функция активации нелинейного преобразователя, А - его точный входной сигнал.

Во втором случае среднеквадратическое отклонение погрешности входного сигнала нелинейного преобразователя вычисляется следующим

Заключение диссертации по теме «Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях (по отраслям наук)», Сенашова, Мария Юрьевна

Заключение

1. В работе предложен метод обратного распространения точности для сигналов и параметоров нейронной сети. Метод состоит в функционировании сети с той же системой связей, но в обратном направлении и с заменой элементов на двойственные.

2. Получены формулы вычисления допустимых погрешностей входных сигналов элементов стандартного нейрона по известным допустимым погрешностям выходных сигналов этих элементов для гарантированных интервальных и среднеквадратических ошибок.

3. Для элементов с собственными погрешностями получены формулы вычисления допустимых погрешностей входных сигналов как в случае добавления собственных погрешностей элементов к выходным сигналам элементов, так и в случае добавления собственных погрешностей к входным сигналам элементов. Формулы получены для гарантированных интервальных и среднеквадратических оценок погрешностей.

4. Проведен анализ реализуемости сетей с собственными погрешностями элементов для гарантированных интервальных и среднеквадратических отклонений оценок погрешностей.

5. Рассмотрена связь между различными типами входных сигналов сети (дискретное множество примеров, непрерывные области входных данных в виде многомерного шара и прямоугольника) и величиной допустимых погрешностей сигналов сети.

6. Рассмотрен способ упрощения нейронных сетей. Сумматоры с вещественными весами синапсов заменяются каскадами сумматоров с весами {-1,0,1}. Замена вещественных весов синапсов на веса {- 1,0,1} производится при помощи цепных дробей.

7. Проведены численные эксперименты по вычислению допустимых погрешностей входных сигналов сетей слоистой структуры. Входные сигналы и веса синапсов были сгенерированы случайным образом из интервала [-1,1]. Показано, что для одного и того же значения параметра с характеристической функции у сетей с одинаковой архитектурой математическое ожидание гарантированных интервальных ошибок погрешностей входных сигналов сети в среднем на порядок меньше, чем математическое ожидание среднеквадратических оценок погрешностей.

При значениях параметра с > 0.1 значения допустимых погрешностей входных сигналов сети для обоих типов оценок тем меньше, чем больше число слоев сети.

Чем ближе вид характеристической функции к пороговой (т.е. при значения параметра с <0.1) тем больше величины допустимых погрешностей входных сигналов. Причем, чем больше слоев имеет сеть, тем больше величины допустимых погрешностей входных сигналов при одном и том же значении параметра с.

Список литературы диссертационного исследования кандидат физико-математических наук Сенашова, Мария Юрьевна, 1998 год

Список использованной литературы

1. Лебедев А.Н., Смолов В.Б. и др. Проектирование и расчет вычислительных машин непрерывного действия / Под ред. Лебедева А.Н. -М.: Машиностроение, 1966, -335 с.

2. Лебедев А.Н. Основы теории точности счетно-решающих устройств, ч.1, -Л.: Изд. ЛЭТИ им. В.И. Ленина, 1964, -248 с.

3. Маликов И.М., Половко A.M., Романов Н.А., Чукреев П.Л. Основы теории и расчета надежности. -Л.: Судпромгиз, 1960, -276 с.

4. Борде Б.И. Статистические характеристики погрешностей работы цифро-аналоговых преобразователей // Автоматический контроль и методы электрических измерений. Труды VIII Всесоюз. конф. Ред. К.Б. Карандеев. Новосибирск.: Наука, 1973. - С. 183-191.

5. Asanovic К., Morgan N., Wawrzynek J. Using simulations of reduced precision arithmetic to design a neuro-microprocessor // Journal of VLSI Signal Processing, June 1993, Vol. 6. No. I, -P. 33-44,.

6. Choi J.Y. and Choi C.H. Sensitivity analysis of multilayer perceptrons with differentiable activation functions // IEEE Trans, on Neural Networks. - Jan. 1992,- Vol. 3, No. I, -P. 101-107.

7. Hohfeld M. and Fahiman S.E. Probabilistic rounding in neural network learning with limited precision // Neurocomputing.- 1992 - Vol. 4, -P. 291299.

8. Piche S. The selection of weight accuracies for Madalines // IEEE Trans, on Neural Networks, - March 1995.-Vol.6, No.2, -P. 432-445.

9. Sakaue S., Kohda Т., Yamamoto H., Maruno S., and Shimeki Y. Reduction of required precision bits for back-propagation applied to pattern recognition // IEEE Trans, on Neural Networks, - March 1993,-Vol. 4, No. 2, -P. 270-275.

10. Stevenson M., Winter R. and Widrow B. Sensitivity of feedforward neural networks to weight errors // IEEE Trans, on Neural Networks, - March 1990.— Vol. I, No. I,-P. 71-80.

11. Xie Y., Jabri M.A. Analysis of the effects of quantization in multilayer neural networks using a statistical model // IEEE Trans, on Neural Networks, -March 1992,-Vol. 3, No. 2, -P. 334-338.

12. Anguita D., Ridella S., Rovetta S. Limiting the effects of weight errors in feed forward networks using interval arithmetic // Proceedings of International Conference on Neural Networks (ICNN'96). - USA, Washington, June 3-6, 1996.-Vol.1.-P. 414-417.

13. Bishop C. Training with noise is equivalent to Tikhonov régularisation // vVeural Comp., - 1995,- Vol.7.-P. 108-116.

14. Edwards P.J., Murray A.F. Can deterministic penalty terms model the effects of synaptic weight noise on network fault-tolerance? // International Journal of Neural Systems, -1996.-P. 11- 18.

15. Jim K., Home B.C., Giles C.L. Effects of noise on convergence and generalization in recurrent networks // In G. Tesauro, D. Touretzky, and T.K. Leen, editors, Proc. Neural Information Processing Systems (NIPS) Conference. - MIT Press.- 1995. -P. 649-656.

16. Leen T.K. From data distributions to régularisation in invarient learning // Neural Comp., No. 7(5).- 1995,- P. 974-981.

17. Murray A.F., Edwards P.J. Synaptic weight noise during MLP training : Enhanced MLP performance and fault tolerance resulting from synaptic weight noise during training // IEEE Trans. Neural Networks, No. 5- September 1994.-P.802.

18. Edwards P., Murray A. Modelling weight- and input-noise in MLP learning // Proceedings of international conference on neural networks (ICNN'96). -USA, Washington, June 3-6, 1996. - Vol.1. - P. 78-83.

19. Kimura Т., Shima Т. Synapse weight accuracy of analog neuro chip // Proceedings of international joint conference on neural networks. - Japan, Nagoya, October 25-29, 1993. - Vol.1. - P. 891-894.

20. Ishibuchi H., Tanaka H., Okada H. An architecture of neural networks with interval weights and its application to fuzzy regression analysis // Fuzzy Sets and Systems, Vol. 51.- 1993,- P. 27-39.

21. Stevenson M., Winter R., Widrow B. Sensivity of feedforward neural networks to weight errors // IEEE Trans, on Neural Networks, Vol. 1, No. 1-March 1990,-P. 71-80.

22. Горбань A.H. Обучение нейронных сетей. - M.: СП "ПараГраф", -1990. -159 с.

23. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука,- 1996 - 276 с.

24. Хинчин А.Я. Цепные дроби. - М.: Наука, 1978. -111 с.

25. Wilkinson J.H. Handbook for Automatic Computation, Vol. 2. Linear algebra. Springer-Verlag, Berlin.

26. Кирсанов Э.Ю. Цифровые нейрокомпьтеры: Архитектура и схемотехника // Под ред. докт. техн. наук Галушкина А. И. / Казань: Казан, гос. техн. ун-т. -1995. -131 с.

27. Мкртчян С.О. Нейроны и нейронные сети. /Введение в теорию формальных нейронов и нейронных сетей/.- М.: Энергия, 1971.-232с.

28. Позин Н.В. Моделирование нейронных структур.-М: Наука, 1970.-259 с.

29. Соколов Е.Н., Вайткявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру-М.: Наука, 1989.-237 с.

30. Суровцев И.С., Клюкин В.И., Пивоварова Р.П. Нейронные сети: Учеб. пособие для суд. ун-тов.-Воронеж: ВГУ, 1994.-222 с.

31. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика: Пер. с англ. -М.: Мир, 1992.-237 с.

32. Цыпкин Я.З. Основы теории обучающихся систем . М.: Наука, -1970252 с.

33. Фролов A.A. , Муравьев И.П. Нейронные модели ассоциативной памяти. М.: Наука. -1987. - 160 с.

34. Каляев A.B., Галуев Г.А. Современное состояние и перспективы развития нейрокомпьютерной техники // Электронное моделирование. -1990, т. 12. -№2. - с. 14-19.

35. Галуев Г.А. Архитектура цифровых нейрокомпьютеров // - 1991, т. 13. -№2. - с. 21-25.

36. Каляев A.B., Галуев Г.А., Чернухин Ю.В., Брюхомицкий Ю.А.

Интеллектуальные системы на основе цифровых нейрокомпбютеров с «

программируемой архитектурой // Вопросы радиоэлектроники. Серия: Электронная вычислительная техника. -1991, Вып. 3 - с.3-15.

37. Куффлер С., Николе Д. От нейрона к мозгу. - М.: Мир, 1979. - 439 с.

38. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин. М.: Наука, -1970,- 383 с.

39. Позин Н.В. Моделирование нейронных структур. - М.: Наука,- 1970264 с.

40. Свечников C.B., Шквар A.M. Нейротехнические системы обработки информатизации. - Киев: Наукова Думка, - 1983. - 224 с.

41. Барцев С.И., Машихина Н.Ю., Суров C.B. Нейронные сети: подходы к аппаратной реализации. Препринт ИФ СО АН СССР, Красноярск,-1990, №122Б - 14 с.

42. Галушкин А.И., Фомин Ю.И. Нейронные сети как линейные последовательные машины. - М.: Изд-во МАИ,- 1991. - 254 с.

43.Гилев С.Е. Алгоритм сокращения нейронных сетей, основанный на разностной оценке вторых производных целевой функции // Нейроинформатика и ее приложения. Тез. докл. 5 Всероссийского

семинара, 3-5 октября 1997 г. / Под ред. А.Н.Горбаня. Красноярск: изд. КГТУ.- 1997. -С. 45-46.

44. Гилев С.Е., Горбань А.Н. О полноте класса функций, вычислимых нейронными сетями // Второй Сибирский конгресс по Прикладной и Индустриальной Математике, посвященный памяти А.А.Ляпунова (1911-1973), А.П.Ершова (1931-1988) и И.А.Полетаева (1915-1983). Новосибирск- июнь 1996. Тез. докл., часть 1. Изд. Института математики СО РАН. - С. 6.

45. Горбань А.Н. Алгоритмы и программы быстрого обучения нейронных сетей // Эволюционное моделирование и кинетика. Новосибирск: Наука,- 1992. -С.36-39.

46. Горбань А.Н. Быстрое дифференцирование сложных функций и обратное распространение ошибки // Нейроинформатика и ее приложения. Тез. докл. 5 Всероссийского семинара, 3-5 октября 1997 г. / Под ред. А.Н.Горбаня. Красноярск: изд. КГТУ, - 1997. - С. 54-56.

47. Ивахненко А.Г. Персептроны. - Киев: Наукова думка. - 1974. - 246 с.

48. Минский М., Пайперт С. Персептроны. - М.: Мир. - 1971. - 269 с.

49. Миркес Е.М. Нейроинформатика и другие науки // Красноярск: Вестник КГТУ, вып. 6. - 1996. - С.5-33.

50. Розенблатт Ф. Принципы нейродинамики. Перцептрон и теория механизмов мозга. М.: Мир. - 1965. - 480 с.

51. Фролов A.A., Муравьев И.П. Информационные характеристики нейронных сетей. - М.: Наука. - 1988. - 273 с.

52. Цыганков В.Д. Нейрокопьютер и его применение. - М.: "Сол Систем". - 1993.- 196 с.

53. Сенашова М.Ю. Метод обратного распространения точности // Нейроинформатика и ее приложения: Тез. докл. IV Всероссийского семинара, 5-7 октября, 1996 г. / Под ред. А.Н. Горбаня; отв. за выпуск Г.М. Цибульский. Красноярск; КГТУ. 1996. - С.47

54. Горбань А.Н., Сенашова М.Ю. Метод обратного распространения точности // Препринт ВЦ СО РАН в г. Красноярске. - 1996. -№17 - 8 с.

55. Горбань А.Н., Сенашова М.Ю. Погрешности в нейронных сетях // Вычислительный центр СО РАН в г.Красноярске. -Красноярск - 1997 -38 е.-Рукопись деп. в ВИНИТИ. 25.07.97, №2509-В97.

56. Сенашова М.Ю. Упрощение нейроннных сетей: приближение значений весов синапсов при помощи цепных дробей // Вычислительный центр СО РАН в г.Красноярске. -Красноярск - 1997,- 11 е.. Рукопись деп. в ВИНИТИ. 25.07.97, №2510-В97.

57. Senashova Masha Yu., Gorban Alexander N., and Wunsch Donald. Back-Propagation of Accuracy // Proc. IEEE/INNS International Coonference of Neural Networks, Houston, IEEE.- 1997,- P. 1998 - 2001

58. Сенашова М.Ю. Приближение весов синапсов с помощью цепных дробей // Информатика и информационные технологии: Тез. докл. межвузовской научной конференции студентов, аспирантов и молодых ученых / Под ред. Е.А. Вейсова, Ю.А. Шитова. Красноярск: изд-во КГТУ.-1997. - С.16 - 17.

59. Сенашова М.Ю. Метод обратного распространения точности с учетом независимости погрешностей сигналов сети // Тез. докл. конф. молодых ученых Красноярского научного центра. - Красноярск, Президиум КНЦ СО РАН - 1997. - С.96 - 97.

60. Сенашова М.Ю. Упрощение нейронных сетей. Использование цепных дробей для приближения весов синапсов // Нейроинформатика и ее приложения: Тез. докл. V Всероссийского семинара, 3-5 октября, 1997 г. / Под ред. А.Н. Горбаня; отв. за выпуск Г.М. Цибульский. Красноярск; КГТУ.-1997.-С.165-166.

61. Сенашова М.Ю. Бинаризация нейронных сетей. Приближение весов синапсов с помощью цепных дробей // Вестник Красноярского государственного технического университета. Информатика,

вычислительная техника, управление: Сб. научных трудов / Под ред.А.И. Рубана, Е.А.Вейсова. Вып.10. Красноярск: Изд-во КГТУ,- 1997. - С. 3743.

62. Сенашова М.Ю. Вычисление допустимых погрешностей весов синапсов нейронных сетей // Нейронные сети и модели: Труды международной НТК "Нейронные, реляторные и непрерывнологические сети и модели", 19-21 мая 1998г., Т.1 / Под ред. Л.И. Волгина. -Ульяновск: УлГТУ,- 1998. - С.9-10.

63. Сенашова М.Ю. Погрешности весов синапсов нейронных сетей // Тез. докл. Третьего сибирского конгресса по прикладной и индустриальной математике (ИНПРИМ - 98). - Новосибирск: изд-во Института математики,- 1998. - С.94-95.

64. Сенашова М.Ю. Вычисление допустимых погрешностей весов синапсов // Тез.конф.молодых ученых Института вычислительного моделирования СО РАН. - Красноярск, Президиум КНЦ СО РАН - 1998. - С.127-128.

65. Сенашова М.Ю. Методы вычисления допустимых погрешностей сигналов и весов синапсов // Нейроинформатика и ее приложения: Тез. докл. VI Всероссийского семинара, 2-5 октября, 1998 г. / Под ред. А.Н. Горбаня; отв. за выпуск Г.М. Цибульский. Красноярск; КГТУ. - 1998. -С.162.

66. Сенашова М.Ю. Погрешности нейронных сетей. Вычисление погрешностей весов синапсов // Методы нейроинформатики: Сб. научн. трудов / Под ред. А.Н. Горбаня; отв. за вып. М.Г. Доррер. Красноярск; КГТУ. - 1998.-С. 48-64.