Процедура проектирования нейросетевых алгоритмов цифровой обработки сигналов в радиотехнических устройствах тема диссертации и автореферата по ВАК РФ 05.12.04, кандидат технических наук Хахулин, Сергей Сергеевич

• Хахулин, Сергей Сергеевич
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Хахулин, Сергей Сергеевич

ВВЕДЕНИЕ

1 Модификации алгоритма обратного распространения ошибки для обучения искусственных нейронных сетей.

1.1 Вводные замечания.

1.2 Модифицированные алгоритмы обратного распространения ошибки.

1.2.1 Описание модифицированных алгоритмов обратного распространения ошибки.

1.2.2 Исследование модифицированных алгоритмов обратного распространения ошибки при реализации весового фильтра кодовых последовательностей на основе искусственных нейронных сетей.

1.2.3 Исследование модифицированных алгоритмов обратного распространения ошибки при реализации вейвлетно-пакетного разложения на основе искусственных нейронных сетей.

1.3 Влияние выбора алгоритма обучения на робастные свойства искусственных нейронных сетей.

1.3.1 Робастные свойства алгоритмов цифровой обработки сигналов на основе искусственных нейронных сетей.

1.3.2 Исследование робастных свойств алгоритмов обучения при весовой обработке кодовых последовательностей.

1.3.3 Исследование робастных свойств алгоритмов обучения при реализации вейвлетно-пакетного разложения речевых сигналов.

1.4 Формирование обучающей выборки с целью придания робастных свойств нейросетевым алгоритмам.

1.4.1 Целевая функция обучения.

1.4.2 Анализ влияния состава обучающей выборки на робастные свойства алгоритма нейросетевой обработки кодовых последовательностей.

1.4.3 Анализ влияния состава обучающей выборки на робастные свойства алгоритма нейросетевой обработки сигналов при реализации вейвлет-пакетного разложения.

1.5 Выводы.

2 Синтез и обоснование формы актнвацнонной функции.

2.1 Вводные замечания.

2.2 Синтез активационной функции.

2.2.1 Постановка задачи.

2.2.2 Аппроксимация формы активационных функций ортогональными полиномами.

2.2.3 Оптимизация формы активационной функции.

2.3 Обоснование формы финитной активационной функции.

2.4 Обоснование формы биполярной бисигмоидальной активационной функции.

2.5 Анализ свойств финитной и биполярной бисигмоидальной активационных функций при реализации алгоритма вейвлет-пакетного разложения на основе искусственных нейронных сетей.

2.5.1 Финитная активационная функция.

2.5.2 Биполярная бисигмоидальная активационная функция.

2.6 Анализ свойств финитной и биполярной бисигмоидальной активационных функций при реализации алгоритма демодуляции сигналов с относительной фазовой манипуляцией на основе искусственных нейронных сетей.

2.6.1 Реализация алгоритма демодуляции сигналов с относительной фазовой манипуляцией на основе искусственных нейронных сетей.

2.6.2 Финитная активационная функция.

2.6.3 Биполярная бисигмоидальная активационная функция

2.7 Выводы.

3 Практические аспекты проектирования нейросетевых алгоритмов цифровой обработки сигналов в радиотехнических устройствах.

3.1 Вводные замечания.

3.2 Процедура проектирования алгоритмов цифровой обработки сигналов на основе искусственной нейронной сети.

3.3 Проектирование устойчивой к мешающим факторам системы идентификации дикторов на основе искусственных нейронных сетей.

3.3.1 Постановка задачи.

3.3.2 Определение пространства первичных признаков.

3.3.3 Проектирование алгоритма идентификации дикторов на основе искусственных нейронных сетей.

3.3.4 Выводы.

3.4 Реализация двухэтапного нейросетевого алгоритма подавления реверберационных помех речевых сигналов.

3.4.1 Постановка задачи.

3.4.2 Экспериментальные исследования алгоритма подавления реверберационных помех в нейросетевом логическом базисе.

3.4.3 Выводы.

3.5 Анализ аппаратной реализации нейросетевых алгоритмов цифровой обработки сигналов.

3.5.1 Типы средств реализации.

3.5.2 Аппаратных средства нейроускорителей.

3.5.3 Особенности проектирования алгоритмов цифровой обработки сигналов в нейросетевом логическом базисе на основе программируемых логических интегральных схем.

3.6 Выводы.

Введение диссертации (часть автореферата) на тему «Процедура проектирования нейросетевых алгоритмов цифровой обработки сигналов в радиотехнических устройствах»

Актуальность темы. Стремительное развитие современной аппаратной базы для реализации алгоритмов цифровой обработки сигналов (ЦОС) позволило реализовывать все более сложные радиотехнические устройства (РТУ). Одновременно с расширением аппаратных возможностей возрастают требования к РТУ среди которых увеличение вычислительной мощности и общей интеллектуальности радиотехнических систем (РТС) при сокращении вычислительных затрат [1].

Одним из наиболее эффективных подходов при реализации интеллектуальных алгоритмов ЦОС в РТУ является использование искусственных нейронных сетей (ИНС). При этом известные алгоритмы и методы, имеющие более простую реализацию, могут рассматриваться как частные случаи реализаций в нейросетевом логическом базисе [2. .5].

ИНС являются инструментом, позволяющим гибко и быстро решать сложно формализуемые задачи обработки сигналов в РТУ [6.12]. К достоинствам ИНС можно отнести нелинейность, обучаемость (адаптивность), обобщение информации, отказоустойчивость (толерантность), масштабируемость, параллельность структуры [13,14].

Опыт показывает, что использование ИНС при разработке ряда РТУ позволяет повысить показатели качества, сократить вычислительные затраты, повысить живучесть и производительность РТС в целом [15]. Кроме того, одним из основных требований, предъявляемых к современным РТУ, является высокая интеллектуальность, что также обеспечивается использованием ИНС.

Весомый вклад в теорию ИНС внесли как отечественные ученые, а именно: Галушкин А.И., Горбань А.Н., Головко В.А., Борисов В.В. и др. так и зарубежные, такие как: Маккалок В., Пите В., Хебб Д., Уидроу Б., Хофф М., Минский М., Паперт С., Розенблат Ф., Оссовский С. и др. [1, 15.28].

Однако до сих пор обоснованы лишь отдельные этапы проектирования ИНС в составе РТУ, а в целом разработка нейросетевых алгоритмов 6 обработки информации обычно основывается на эмпирических подходах и опыте разработчиков. Отсутствие данной методики затрудняет обоснованное использование ИНС в алгоритмах ЦОС, используемых в РТС.

Таким образом, актуальной задачей является разработка и обоснование процедуры проектирования алгоритмов ЦОС реализованных в нейросетевом логическом базисе и используемых в РТУ.

Цель и задачи работы. Основной целью работы является разработка и обоснование процедуры проектирования нейросетевых алгоритмов ЦОС в составе РТУ.

Поставленная цель работы достигается решением следующих основных задач:

- модификации процедуры обучения ИНС с целью повышения скорости обучения и улучшения показателей РТУ;

- исследования влияния состава множества обучающих векторов (MOB) на свойства нейросетевых алгоритмов ЦОС в составе РТУ;

- синтеза и обоснования новых, более эффективных форм активационных функций (АФ) с целью повышения показателей качества РТУ;

- разработки и обоснования процедуры проектирования алгоритмов ЦОС в нейросетевом логическом базисе для ряда РТУ.

Методы проведения исследований. В работе использовались методы статистической радиотехники, математической статистики, матричного исчисления, численные методы вычислительной математики. Данные теоретические методы сочетались с экспериментальными исследованиями на основе имитационного моделирования.

Научная новизна. В рамках данной диссертационной работы получены следующие новые научные результаты

1. Обоснованы модификации процедуры обучения ИНС с обратным распространением ошибки, обеспечивающие более высокую скорость сходимости и более низкие ошибки на тестовой (ТВ) и обучающей (ОВ) выборках.

2. Предложены методы усиления робастности алгоритмов ЦОС в нейросетевом логическом базисе на основе корректировки состава ОВ.

3. Предложены два новых вида АФ, обеспечивающих более низкие ошибки обучения и более высокие робастные свойства нейросетевых алгоритмов ЦОС.

4. Разработана процедура проектирования алгоритмов ЦОС в нейросетевом логическом базисе.

Практическая ценность работы. Предложенные в работе алгоритмы обучения, новые виды АФ и методики корректировки MOB при использовании процедуры проектирования ИНС могут быть использованы в различных РТС, в частности в системах передачи информации и телевидения. Реализация результатов исследований позволит повысить робастность устройств формирования и обработки радиосигналов к действию различных мешающих факторов, что обеспечит улучшение показателей качества всей РТС.

Результаты диссертационной работы нашли применение в разработках ФГУП РНИИ «Космического приборостроения», г. Москва, а также в ООО «Деснол Софт Рязань».

Основные положения, выносимые на защиту.

1. Модифицированные процедуры обучения ИНС обеспечивающие увеличение скорости сходимости от 2 до 5 раз и снижение ошибки в 2 -4 раза на тестовой и обучающей выборках по сравнению с алгоритмом ОРО.

2. Методика формирования состава ОВ, обеспечивающая усиление свойства робастности алгоритмов ЦОС в нейросетевом логическом базисе, что позволяет на примере реализации алгоритма весовой фильтрации снизить УБЛ на 10 дБ.

3. Новые виды АФ, обеспечивающие уменьшение ошибок обучения в 4 -8 раз и усиливающие робастные свойства нейросетевых алгоритмов цех:.

4. Процедура проектирования алгоритмов ЦОС в нейросетевом логическом базисе, позволяющая повысить характеристики РТУ.

Апробация работы. Результаты работы докладывались на следующих конференциях:

1. Одиннадцатая международная НТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» Рязань, 2002.

2. Восьмая НТК «Новые информационные технологии в научных исследованиях и в образовании». Рязань, 2003.

3. Двенадцатая МНТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». Рязань, 2004.

4. Десятая МНТК «Радиоэлектроника, электротехника и энергетика». Москва, 2004.

5. Девятая всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании». Рязань, 2004.

6. Седьмая МНТК «Цифровая обработка сигналов и ее применение». Москва, 2005.

7. Десятая всероссийская «Новые информационные технологии в научных исследованиях и в образовании». Рязань, 2005.

8. Четырнадцатая МНТК «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». Рязань, 2005.

9. Пятая МНТК «Идентификация систем и задачи управления (SICPRO '06)». Москва, 2006.

Ю.Восьмая МНТК «Цифровая обработка сигналов и ее применение». Москва, 2006.

11 .Одиннадцатая всероссийская НТК «Новые информационные технологии в научных исследованиях и в образовании». Рязань, 2006.

12.Всероссийская НТК посвященная 60-летию ФГУП «РНИИ КП». Москва, 2006.

Публикации. По теме диссертации опубликовано 25 работ, из них -4 статьи в центральной печати, 2 статей в межвузовских сборниках трудов, 19 тезисов докладов на конференциях и 5 отчетов по НИР.

Структура и объем работы. Диссертационная работа состоит из введения, трех глав, заключения, списка литературы из 148 наименований и 4-х приложений. Диссертация содержит 166 е., в том числе 140 с. основного текста, 30 таблиц и 46 рисунков.

Заключение диссертации по теме «Радиотехника, в том числе системы и устройства телевидения», Хахулин, Сергей Сергеевич

Основные результаты диссертационной работы можно сформулировать в следующем виде:

1. Предложены модификации алгоритма ОРО, позволяющие увеличить скорость сходимости в три и более раз по сравнению с известным алгоритмом.

2. Показана эффективность использования ИНС в задаче весовой фильтрации КП фазоманипулированных сигналов. Так при использовании согласованной фильтрации для КП длиной 31 элемент УБЛ достигает -20,28 дБ, а при использовании НВФ удается обеспечить у порядка -35 дБ.

3. Оценено влияние выбора алгоритма обучения на свойство робастности к мешающим факторам нейросетевых алгоритмов ЦОС. Показано, что наиболее эффективным алгоритмом является алгоритм ЦММОРО, обеспечивающий минимальные ошибки ИНС как на ОВ, так и на ТВ.

4. На примере задач нейросетевой реализации весовой обработки КП и ВПР речевых сигналов доказана возможность усиления свойства робастности путем формирования ОВ на основе использования нескольких групп искаженных обучающих векторов с различной интенсивностью мешающего фактора.

5. Проведен синтез двух новых форм АФ: финитной и биполярной бисигмоидальной, обеспечивающих более высокие показатели качества нейросетевых алгоритмов ЦОС.

6. При реализации ВПР на основе ИНС финитная АФ обеспечивает наибольшую точность преобразования. Так при использовании биполярной сигмоидальной АФ удалось достичь ошибки преобразования на уровне енвпр = 1,7 • 10"2, а при использовании финитной АФ етпр = 3,9 • 10-3.

7. Биполярная бисигмоидальная АФ при реализации алгоритма ВПР обеспечивает более высокую устойчивость к действию мешающих факторов в виде действия белого гауссовского шума, чем финитная АФ. Так при отношении сигнал-шум 16дБ использование финитной АФ позволяет достичь ошибки преобразования £нвпр = а биполярной бисигмоидальной - £НВПР = 0,16.

8. При реализации алгоритма демодуляции ФМн-сигналов использование биполярной бисигмоидальной АФ позволило на два порядка сократить ошибки на ТВ и ОВ по сравнению с использованием биполярной сигмоидальной АФ.

9. Биполярная бисигмоидальная АФ обеспечивает наибольшую устойчивость к действию мешающих факторов в виде действия аддитивного белого гауссовского шума в полосе сигнала при реализации алгоритма демодуляции ФМн-сигналов на основе ИНС.

10. Обоснована методика проектирования алгоритмов ЦОС реализованных в нейросетевом логическом базисе в составе РТУ.

11. На основе применения методики проектирования алгоритмов ЦОС в нейросетевом логическом базисе разработан алгоритм идентификации дикторов, позволяющий обеспечить надежность идентификации 94% при использовании финитных АФ.

12. Обосновано применение биполярных бисигмоидальных АФ обеспечивающих высокую устойчивость к действию акустического шума в алгоритме идентификации дикторов.

13. На основе предложенной методики проектирования алгоритмов ЦОС в нейросетевом логическом базисе реализован алгоритм подавления реверберационных помех PC. Показано, что использование алгоритма подавления реверберационных помех при оптимальных параметрах ИНС обеспечивает коэффициент подавления помехи не менее Кп= 2,35 для исследуемого нейромодуля, который обладает устойчивостью к ошибкам определения параметров отраженного сигнала реверберационной помехи.

14. Проанализирована возможность реализации рассмотренных алгоритмов на базе ПЛИС фирмы Xilinx семейства Virtex-4. При использовании ПЛИС XC4VSX55 быстродействие нейроускорителя ИНС идентификации дикторов составит 8,8 не при 8 и 16-битной реализации и

17,6 не при 32-битной, а реализации нейроускорителя для подавления реверберационных помех 206,8 не для 8 и 16-битной реализации и 412,5 не при 32-битной.

Таким образом, выполнена цель работы, заключающаяся в разработке и обосновании процедуры проектирования нейросетевых алгоритмов ЦОС в составе РТУ.

ЗАКЛЮЧЕНИЕ

Разработана процедура проектирования нейросетевых алгоритмов ЦОС, которая показала высокую эффективность в различных РТУ. В рамках работы были предложены и исследованы модифицированные алгоритмы обучения на основе алгоритма обратного распространения ошибки, обоснованы методики формирования MOB с целью усиления робастных свойств.

Предложены модификации алгоритма обратного распространения ошибки, обеспечивающие увеличение скорости сходимости алгоритма от 2 до 7 раз, позволяющие до 2 раз уменьшить достижимую ошибку обучения; рассмотрены и исследованы методики усиления свойства робастности нейросетевых алгоритмов ЦОС в составе РТУ на основе корректировки MOB.

Обоснованы две новые формы АФ, обеспечивающие повышение показателей качества нейросетевых алгоритмов ЦОС в составе РТУ, в частности усиления робастных свойств при использовании биполярной бисигмоидальной АФ и уменьшению ошибок на ОВ и ТВ при использовании финитной АФ в 3. .4 раза.

Показана целесообразность применения предложенных модифицированных алгоритмов обучения и новых видов АФ в РТУ весовой обработки КП ФМн-сигналов, нейросетевой реализации ВПР, алгоритмах распознавания дикторов и подавления реверберационных помех; проведен анализ возможности реализации алгоритмов идентификации дикторов и подавления реверберационных помех на основе ИНС с использованием ПЛИС фирмы Xilinx семейства Virtex - 4.

Список литературы диссертационного исследования кандидат технических наук Хахулин, Сергей Сергеевич, 2007 год

1. Галушкин А.И. Теория нейронных сетей. Кн.1 М.: ИПРЖР. 2000.

2. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344с.

3. Горбань А.Н., Дунин-Барковский B.JL, Кирдин А.Н. и др. Нейроинформатика. Новосибирск: Наука. 1998. 257с.

4. A. Cichocki and R. Unbehauen, Neural Networks for Optimization and Signal Processing, John Wiley & Sons, Inc., New York, NY, 1993.

5. D. Hammerstrom, "Neural Networks at Work," IEEE Spectrum, pp 26-32, June 1993.

6. R. Lippmann, "An Introduction to Computing with Neural Networks," IEEE ASSP Mag., pp 4-22, April 1987.

7. B. Muller and J. Reinhardt, Neural Networks, Spring Verlag, Berlin, 1990.

8. O. Rioul and M. Vetterli, "Wavelets and Signal Processing," IEEE Signal Processing Mag., v8, n4, pp 14-38, Oct. 1991.

9. Ю.Карелов И.Н. Нейросетевой метод определения вида модуляции несущей сигнала. //Нейрокомпьютеры: разработка и применение. №12. 2001. С28-32

10. С. Хайкин Нейронные сети: полный курс, 2-е издание. Пер. с англ. М.: Издательский дом «Вильяме». 2006.1104с.

11. Короткий С. Нейронные сети: основные положения //www\\generation6\cjb.net

12. Галушкин А.И. Синтез многослойных систем распознавания образов. -М.: Энергия. 1974.

13. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск: Наука. 1996.276с.

14. Головко В.А. Нейронные сети: обучение организация и применение. М. ИПРЖР, 2001.256с.

15. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: Горячая линия телеком. 2002. 382с.

16. Круглов В.В., Дли М.И., Голубов Р.Ю. Нечеткая логика и искусственные нейронные сети. М.: Горячая линия телеком. 2001. 228с.

17. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. СПб. Наука и техника. 2003. 384с.

18. Вороновский Г.К., Махотило К.В., Петрашев С.Н., Сергеев С.А. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. X.: Основа. 1997. 112с.

19. McCulloch W., Pitts W. A logical calculus of the ideals immanent in nervous activity // Bulletin of Mathematical Biophysics, 1943, #5, Pp. 115133.

20. Розенблат Ф. Принципы нейродинамики: Персептрон и теория механизмов мозга: Пер. с англ. -М.: Мир, 1965. 278с.

21. Hebb D. Organization of behaviour. N.Y.: J. Wiley. 1949.

22. Widrow В., Hoff M. Adaptive switching circuits // In 1960 IRE WESCON Convention Record. DUNNO. 1960. Pp.96-104.

23. Minsky M., Papert S. Perceptrons: An introduction to Computational Geometry. The MIT Press. 1969.

24. Ф. Уоссерман, Нейрокомпьютерная техника: Теория и практика, М. Мир, 1992.406с.

25. Минский М., Пейперт С. Персептроны. М.: Мир. 1971.261с.

26. Ясницкий JI.H. Введение в искусственный интеллект. М.: Издательский центр «Академия». 2005.176с.

27. F. С. Chen, "Back-Propagation Neural Networks for Nonlinear Self-Tuning Adaptive Control," IEEE Control Systems Magazine, Special Issue on Neural Networks for Control Systems, pp 44-8, April 1990.

28. D. S. Chen and R. C. Jain, "A Robust Back Propagation Learning Algorithm for Function approximation, IEEE Trans, on Neural Networks, v5, n3, pp. 467-79,1994.

29. Rumelhart D. E., Hinton G. E., Williams R. J. Learning representations by back-propagating errors // Nature (London). 1986. N 323. 533—536p.

30. Learning-logic: Casting the cortex of the human brain in silicon, Parker D. В.: Technical Report / Center for Computational Research in Economics and Management Science. TR-47. Cambridge, MA: MIT, 1985. 73p.

31. LeCun, Y. Une procedure d'apprentissage pour reseau a seuil assymetrique // Cognitiva 85.1985. 599—604p.

32. Werbos P. J. Beyond regression: New tools for prediction and analysis in the behavioral science: Ph.D. Thesis. Harvard University, Cambridge, MA, 1974.120p.

33. Хьюбер П. Робастность в статистике. М.: Мир. 1984. 304с.

34. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния: Пер. с англ. М.: Мир. 1989. 512с.

35. Алдонин Г. М. Робастность в природе и технике: Монография / Г. М. Алдонин. М.: Радио и связь, 2003. 336с.

36. Круглов А.В., Кириллов С.Н., Хахулин С.С. Ватутин В.М. Алгоритм обработки шумоподобных сигналов спутниковых систем связи на основе искусственных нейронных сетей. // Электромагнитные волны и электронные системы. №10. т.Ю. 2005. С27-32.

37. Скребцов П.В. Настройка коэффициентов нейронной сети с использованием функционала целевой ошибки. // Нейрокомпьютеры: разработка и применение. 2004. №4. С41-45.

38. Варакин JI.E. Системы связи с шумоподобными сигналами. М. Радио и связь, 1985. 384с.

39. Поляков. П.Ф. Широкополосные системы связи со сложными сигналами М.: Радио и связь. 1981. 152 с.

40. Тузов Г.И. Статистическая теория приема сложных сигналов. М. 1987. 400с.

41. Радиотехнические системы /Под ред Ю.М. Казаринова. М.: Высшая школа. 1990.496 с.

42. Радиотехнические системы передачи информации /Под ред. И.М.Теплякова. М.: Радио и связь. 1982. 264 с.

43. Пенин П.И. Системы передачи цифровой информации. М.:Сов. Радио. 1976. 364с.

44. Прокис Дж. Цифровая связь. М.: Радио и связь. 2000. 800 с.

45. Вакман Д.Е. Сложные сигналы и принципы неопределенности в радиолокации. М.: Сов. радио, 1965.304с.

46. Кук Ч., Бернфельд М. Радиолокационные сигналы. М.: Сов. радио, 1971.568 с.

47. Вакман Д.Е., Седлецкий P.M. Вопросы синтеза радиолокационных сигналов. М.: Сов. радио, 1973. 312 с.

48. Винокуров В.И., Гантмахер В.Е. Дискретнокодированные последовательности. Ростов-на-Дону: Издательство Ростовского университета, 1990.288с.

49. Свердлик М.Б. Оптимальные дискретные сигналы. М.: Сов. Радио, 1975.200 с.

50. Френкс JI.E. Теория сигналов. М.: Сов. радио, 1974. 334с.

51. Диксон Р.К. Широкополосные системы. М.: Связь, 1979. 304с.

52. Шумоподобные сигналы в системах передачи информации / Под ред. В.В. Пестрякова. М.: Сов. радио, 1973.424 с.

53. Чепруков Ю.В., Соколов М.А. Метод оптимизации весовых фильтров сжатия фазоманипулированных сигналов // Изв. вузов. Радиоэлектроника. 1991. Т.34. № 4. С. 31-37.

54. Теоретические основы радиолокации, /под. ред. Ширмана Я.Д. М.: Советское радио, 1970. 560 с.

55. Тузов Г.И. Статистическая теория приема сложных сигналов. М.: Советское радио. 1977.400с

56. Применение цифровой обработки сигналов. Под ред. Э. Опенгейма. М.: Издательство «Мир». 1980. 552с.бО.Оппенгейм А.В., Шафер Р.В. Цифровая обработка сигналов. М. Связь, 1979.416с.

57. Гольденберг Л.М., Матюшкин Б.Д., Поляк М.Н. Цифровая обработка сигналов. М.: Радио и связь. 1985. 312с.

58. Кириллов С.Н., Хахулин С.С. Весовая обработка бинарных последовательностей на базе искусственных нейронных сетей. // Вестник РГРТА. Вып. 16. Рязань. 2005. С10-13.

59. Колмогоров А.Н. Представление непрерывных функций многих переменных суперпозицией функций одной переменной и сложением // ДАН, 1958, №5,953-956с.

60. Воробъев В.И., Грибунин В.Г. Теория и практика вейвлет-преобразования. СПб.: ВУС, 1999.204 с.

61. Дьяконов В.П. Вейвлеты. От теории к практике. М.: COJIOH-P. 2002. 448с.

62. Чуй К. Введение в вейвлеты. М.: «МИР». 2001.412с.

63. R. К. Young, Wavelet Theory and Its Applications, Kluwer Acadamic Publishers, Boston, MA, 1993.

64. Кириллов С.Н., Хахулин С.С. Робастный алгоритм корреляционно-спектрального анализа случайных процессов на основе искусственных нейронных сетей. // Нейрокомпьютеры. Разработка и применение. №12. 2004. С16-20.

65. Володин И. А., Дмитриев В. Г., Макаров С. Б., Сергеев В. И., Сергеева Е. А. Формирование нелинейных сигналов с заданным типом нелинейности. //Нелинейный мир. 2004. т.2. №5-6. С37-42.

66. Широков С.М., Петров А.В. Цифровая обработка сигналов с применением нелинейных ортогональных преобразований в частотной области. // Цифровая обработка сигналов: Материалы международной научн.-техн. конференции. Москва. 2002.

67. Галушкин А.И. Решение задач в нейросетевом логическом базисе. //Нейрокомпьютеры: разработка и применение. 2006. №2. С49-70.

68. Васильев Ф.П. Методы оптимизации. М.: Факториал пресс. 2002. 824с.

69. Васильев Ф.П., Численные методы решения экстремальных задач. М.: Наука. 1998. 552С.

70. Бронштейн И.Н., Семендяев К.А. Справочник по математике для инженеров и учащихся втузов. 13-е изд., исправленное. М.: Наука. 1986. 544с.

71. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Наука. 1974. 832с.

72. Марпл-мл. C.JI. Цифровой спектральный анализ и его приложения. М.:Мир, 1990.584с.

73. Трахтман A.M. Введение в обобщенную спектральную теорию сигналов. М.: Советское радио, 1972. 352с.

74. Гоноровский И.С. Радиотехнические цепи и сигналы. М.: Радио и связь, 1986. 512с.

75. Тихонов В.И. Статистическая радиотехника. М.: Советское радио, 1966. 680с.93.3аездный A.M. Основы расчетов по статистической радиотехнике. М.: Связь, 1969.448с.

76. Левин Б.Р. Теоретические основы статистической радиотехники. Т. 1. М.: Сов. радио, 1974. 376с.

77. Хахулин С.С. Демодулятор фазоманипулированных колебаний на основе нейронных сетей. // Радиоэлектроника, электротехника и энергетика: Материалы 10-й Международной научн.-техн. конф. Москва. Том 1.2004. С63-64.

78. Доленко С.А., Орлов Ю.В., Персианцев И.Г., Шугай Ю.С. Адаптивное построение иерархических нейросетевых классификаторов. //Нейрокомпьютеры: разработка и применение. 2005. №1-2. СЗ-9.

79. Хомич А. В., Жуков JI. А. Метод эволюционной оптимизации и его приложение к задаче синтеза искусственных нейронных сетей. //Нейрокомпьютеры: разработка и применение. 2004. №12. С16-23.

80. Москвич Д.Н. Синтез нейронных сетей при их практическом применении. //Вестник СевКавГТУ Серия «Физико-химическая». №1 (8). 2004. С32-36.

81. Миркес Е.М. Нейрокомпьютер. Проект стандарта. Новосибирск: Наука. Сибирская издательская фирма РАН. 1998. 210с.

82. Грошев А.В., Панов Ю.В. Реализация нейронных сетей на базе ПЛИС. //Нейрокомпьютеры: разработка и применение. 2003. №10-11. С35-42.

83. Добриков В. А., Сахно И. В. Применение нейропроцессора Л1879ВМ1 для подавления узкополосных помех в системах с шумоподобными сигналами. //Нейрокомпьютеры: разработка и применение. 2005. №10-11. С37-43.

84. Бахолдин B.C., Герасименко И.С., Добриков В. А., Иванов В.Ф., Сахно И. В., Ткачев Е.А. Применение нейропроцессора Л1879ВМ1 для поиска и обнаружения сигналов ГЛОНАС/GPS. //Нейрокомпьютеры: разработка и применение. 2005. №10-11. С43-51.

85. Комарцова Л.Г. Модульный подход к синтезу нейронной сети. // Материалы I Всероссийского семинара «Нейроинформатика и ее приложения» NEU-03. С23-25.

86. Рамишвили Г.С. Автоматическое опознавание говорящего по голосу. М.: Радио и связь, 1981,224 с.

87. R. Eberhart and R. Brandmaier, "Overview of Biomedical Applications of Neural Networks," Applications and Science of Artificial Neural Networks, S. K. Rogers and D. W. Ruck, Eds., roc. SPIE, v2492, part2, pp. 642-50,1995.

88. Кириллов C.H., Шустиков O.E. Об эффективности статических и динамических признаков при распознавании речевых сигналов. // Автоматика и телемеханика, 2001. №3. С. 151-157.

89. Рамишвили Г.С., Чикоидзе Г.В. Криминалистическое исследование фонограмм речи и идентификация личности говорящего. Тбилиси: Мецниереба, 1991. 265 с.

90. Рылов А.С. Практические аспекты и основные компоненты современных систем распознавания речевых образов. // Современные речевые технологии. Сборник трудов IX сессии Российского акустического общества. -М.: ГЕОС, 1999. С. 145-151.

91. Доддинггон Дж.Р. Распознавание дикторов: идентификация людей по голосу. // ТИИЭР. 1985. Т. 73. N0 11. С. 129-146.

92. Атал Б.С. Автоматическое опознавание дикторов по голосам // ТИИЭР. 1976. Т. 64. N0 4. С. 48-66.

93. Сорокин В.Н. Новые концепции в автоматическом распознавании речи. // Современные речевые технологии. Сборник трудов IX сессии Российского акустического общества. -М.: ГЕОС, 1999. С. 50-57.

94. Цвикер Э., Фельдкеллер Р. Ухо как приемник информации. М.: Связь, 1972. 147с.

95. Загоруйко Н.Г. Методы распознавания и их применение. М.: Сов. радио, 1972. 208с.

96. Фланаган Дж. Анализ, синтез и восприятие речи. Пер. с англ./под ред. Пирогова А.А. М.: Связь, 1968, 396 с.

97. Рабинер JI. Р. , Шафер Р.В. Цифровая обработка речевых сигналов. Пер. с англ. М.: Радио и связь, 1981.496с.

98. I. Jouny, M. Kanapathipillai, "Neural Network Adaptive Wavelet Classification of Radar Targets," Proceedings of the 1994 International Geoscience and Remote Sensing Symposium, v4, pp 1889-91,1994.

99. C-C Ku and K. Y. Lee, "System Identification and Control Using Diagonal Recurrent Networks," Proceedings of American Control. Conference, pp 545-49, June 1992.

100. Бабенко JI.K., Макаревич О.Б., Федоров B.M., Юрков П.Ю. Голосовая текстонезависимая система аутентификации/идентификации пользователя. //Нейрокомпьютеры: разработка и применение. №10-11. 2003. С70-73.

101. Рабинер Л. Гоулд Б. Теория и применение цифровой обработки сигналов. Пер. с англ. М.: Мир, 1978. 848с.

102. ГОСТ Р 50840-95 Передача речи по трактам связи. Методы оценки качества, разборчивости, узнаваемости. М.: Госстандарт России.

103. Ван. Нейросимуляция. // Компьютерра. №20. 2000. С23-27.

104. Шахнов В.А., Власов А.И., Кузнецов А.С. Элементная база параллельных вычислений. // Открытые системы. 2001. №5-6. С15-19.127. www.citforum.ru/hardware/neurocomp/neyrocomp01 .shtml

105. Стешенко В. Школа схемотехнического проектирования устройств обработки сигналов. Занятие 1. Алгоритмы, элементная база, способы реализации. http://wvvw.compitech.ru/html.cgi/arhiv/0003/stat72.htm.

106. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 1. Обзор элементной базы. //Chip news, 1999, №8, с.2-7.

107. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 2. Система проектирования MAX+PLUS II ALTERA. //Chip news, 1999, № 9, с.15-19.

108. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 3. Программное обеспечение проектирования на ПЛИС XILINX //Chip news, 1999, № 10 с. 19-23.

109. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 4. Язык описания аппаратуры VHDL //Chip news, 2000, № 1 с.28-32.

110. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 5. Язык описания аппаратуры AHDL. //Chip news, 2000, № 3 c.l 1-16.

111. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 6. Язык описания аппаратуры AHDL (продолжение). //Chip news, 2000, № 4 с.23-28.

112. Стешенко В. Школа разработки аппаратуры цифровой обработки сигналов на ПЛИС. Занятие 7. Особенности функционирования ПЛИС в составе системы ЦОС //Chip news, 2000, № 5 с.20-25.

113. Антонов А.П. Язык описания цифровых устройств AlteraHDL. Практический курс. М.: Издательское предприятие РадиоСофт. 2002. 224с.

114. Проблемы построения и обучения нейронных сетей / под ред. А.И. Галушкина и В.А. Шахнова. — М.: Машиностроение. Библиотечка журнала «Информационные технологии». 1999. 216с.

115. А.И. Галушкин. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80-е и 90-е годы) // Нейрокомпьютер, 2000, № 1. СЗ-15.

116. Официальный сайт фирмы Analog Devices www.analog-devices.com

117. Официальный сайт фирмы Texas Instruments www.texas-instruments.com

118. Официальный сайт фирмы Модуль www.module.ru

119. Официальный сайт фирмы Analog Devices (Россия). // www.analog.com.ru

120. Официальный сайт фирмы Maxim. // www.maxim.com

121. Материалы сайта ChipDoc. // www.chipdoc.ru

122. ALTERA FLEX 1 OK Digital Library, February 2001.

123. Алюшин M.B. Аппаратная реализация быстродействующих нейросетей на основе программируемой логики фирм AMD, ALTERA, XILINX// Нейроинформатика -99. М.: МИФИ. Часть 2. С. 18-24.148. www.xilinx.com