Моделирование и разработка комплекса программ идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Малков, Максим Александрович

• Малков, Максим Александрович
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Малков, Максим Александрович

Введение.

Актуальность темы диссертации.

Цель диссертационной работы.

Предмет исследования.

Методы исследования.

Научная новизна.

Практическая ценность работы.

Положения, выносимые на защиту.

Апробация результатов исследований.

Публикации.

Структура и объем работы.

Краткое содержание работы.

1. Обзор речевых технологий.

1.1. Речевой сигнал и формы его представления.

1.2. Основные речевые технологии.

1.3. Идентификация голосового сообщения.

1.4. Обзор математических методов, применяемых при идентификации голосового сообщения.

1.4.1. Нейросети.

1.4.2. Частотные цифровые фильтры.

1.4.3. Фурье-анализ.

1.4.4. Кепстральный анализ.

1.4.5. Методы машинного обучения.

1.4.6. Векторное квантование.

1.4.7. Гауссовы смеси.

1.4.8. Вейвлет-анализ.

1.5. Обзор разработок в области идентификации голоса.

1.6. Основные характеристики разрабатываемой модели.

1.7. Выводы.

2. Структурная схема модели идентификации голосового сообщения.

2.1. Основные понятия модели идентификации голосового сообщения.

2.2. Этапы разработки модели идентификации голосового сообщения.

2.3. Исследование образования звуков русского языка.

2.4. Построение структурной схемы модели идентификации голосового сообщения.

2.5. Двоичная и троичная логика принятия решения.

2.6. Выводы.

3. Математические методы модели идентификации голосового сообщения.

3.1. Деление голосового сообщения на фонемы.

3.2. Построение образа фонемы.

3.3. Сравнение образов двух фонем.

3.4. Матричный анализ сравнения голосовых сообщений.

3.5. Выводы.

4. Статистическая оценка качества работы модели идентификации голосового сообщения.

4.1. Разработка базы данных голосовых сообщений.

4.2. Метод статистической оценки качества работы модели идентификации голосового сообщения.

4.3. Оценка качества работы модели в зависимости от варьируемых параметров.

4.4. Оценка качества работы модели в зависимости от параметров фразы

4.5. Выводы.

Введение диссертации (часть автореферата) на тему «Моделирование и разработка комплекса программ идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса»

Актуальность темы диссертации

В последние годы для идентификации личности человека всё более широкое применение получают биометрические технологии [1, 2, 4, 86]. Они используются в системах разграничения доступа, при проведении финансовых транзакций, при запросах конфиденциальной информации по телефону, при управлении различными устройствами, в криминалистике и т.д. Использование биометрических технологий в этих сферах обладает рядом существенных преимуществ перед традиционными средствами идентификации (например, использование пароля). В первую очередь к таким преимуществам относятся высокая надёжность идентификации и удобство использования для человека [86].

В качестве идентифицирующих параметров, в биометрических технологиях используются физиологические и поведенческие характеристики человека. К таким характеристикам относятся отпечатки пальцев, голос, радужная оболочка глаза, лицо человека, почерк и др.

В настоящее время наиболее распространёнными биометрическими характеристиками человека являются отпечатки пальцев и радужная оболочка глаза [86, 94]. В то же время голос используется не так широко, хотя он обладает рядом существенных преимуществ, например; простота снятия биометрического параметра (достаточно лишь стандартного микрофона), а также удобство использования.

На сегодняшний день в мире существует ряд компаний, занимающихся разработкой систем идентификации голоса [93, 95, 96, 97, 98]. Достигнуты определённые успехи в этой области (вероятность ошибки идентификации 1 - 3%). Однако существующие разработки обладают рядом недостатков.

Алгоритмы достаточно сложны и требуют больших вычислительных ресурсов, что ограничивает область их применения только высокопроизводительными ЭВМ (время идентификации 3-5 секунд при длительности фразы 3 секунды» на ЭВМ с частотой процессора 1,60 ГТц и объёмом оперативной памяти 896 МБ). Кроме того, во всех системах отсутствует возможность настройки алгоритмов под различные условия применения < (уровень шума, особенность голоса конкретного человека, порог ошибок и т.д.).

Также, ни один разработчик не предоставляет средства для тестирования разработанной им системы идентификации голоса, тогда как особенности условий применения могут значительно влиять на качество работы алгоритма.

Большинство алгоритмов не учитывают текстовое содержание произносимой фразы, (фонемную составляющую), выделяя лишь индивидуальные характеристики голоса, что значительно снижает надёжность идентификации.

С учётом сказанного актуальной является задача разработки новой модели идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса, свободной от представленных недостатков, а также комплекса программ, реализующего1 данную модель и позволяющего её тестировать.

Цель диссертационной работы

Целью диссертационной работы является разработка математической модели'идентификации! голосового сообщения по фонемной, составляющей и> индивидуальным характеристикам» голоса; а также разработка комплекса программ, реализующего данную модель и позволяющего её тестировать. Исходя из поставленных целей, в работе решаются следующие задачи:

• анализ математических методов, которые можно применить к решению задачи идентификации голосового сообщения;

• разработка . математической модели идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса;

• программная реализация разработанной модели идентификации голосового сообщения;

• разработка метода оценки качества идентификации;

• программная реализация метода оценки качества идентификации, голосового сообщения;

• оценка влияния значений варьируемых параметров разработанной' ' модели на качество идентификации; 6

• оценка влияния различных произносимых фраз на качество идентификации.

Предмет исследования

Предметом исследования в диссертационной работе являются голосовые сообщения, представленные в оцифрованной форме, математическая модель идентификации голосового сообщения и статистические показатели, характеризующие качество идентификации этой модели.

Методы исследования

Методы исследования заимствованы из следующих областей:

• цифровая обработка сигналов;

• колебания и волны;

• теория речеобразования;

• математический анализ;

• математическое моделирование;

• численные методы;

• теория вероятностей и математическая статистика;

• теория языков программирования;

• теория построения баз данных.

Научная новизна

Научную новизну диссертационной работы составляют результаты, полученные в ходе решения поставленных задач:

• модель идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса;

• метод деления голосового сообщения на фонемы;

• метод обработки фонем для их сравнения;

• метод матричного анализа сравнения фонем голосовых сообщений;

• набор параметров модели (варьируемые параметры), изменяя значения которых, можно настраивать её под различные условия применения;

• метод оценки качества идентификации представленной модели.

4 ?

Практическая ценность работы

Практическую ценность работы составляют следующие результаты:

• разработан комплекс программ идентификации голосового сообщения на основе предложенной модели;

• реализован комплекс программ оценки качества идентификации на основе статистических методов;

• выработаны рекомендации по использованию определённых голосовых сообщений в идентификации для повышения качества работы предложенной модели.

Положения, выносимые на защиту

На защиту выносятся следующие положения:

• структурная схема модели идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса;

• метод деления голосового сообщения на фонемы;

• метод обработки фонем для их сравнения;

• метод матричного анализа сравнения фонем голосовых сообщений;

• метод статистической оценки качества работы модели идентификации голосового сообщения;

• статистическая оценка качества работы представленной модели в зависимости от значений варьируемых параметров;

• статистическая оценка качества работы представленной модели в зависимости от различных фраз.

Апробация результатов исследований

Основные результаты, полученные в ходе выполнения диссертационной работы, докладывались на международных молодёжных научных конференциях XXXII Гагаринские чтения (Москва, 2006 г.), XXXIII Гагаринские чтения (Москва, 2007 г.), XXXIV Гагаринские чтения (Москва, 2008 г.), X Санкт-Петербургской международной конференции «Региональная информатика - 2006» (Санкт-Петербург, 2006 г.), XI Санкт-Петербургской международной» конференции «Региональная информатика — 2008» (Санкт-Петербург, 2008 г.), VIII Международной научно-методической конференции

Информатика: проблемы, методология, технологии» (Воронеж, 2008 г.), Всероссийских научно-технических конференциях: «Новые материалы и технологии — 2006» (Москва, 2006 г.), «Новые материалы и технологии — 2008» (Москва, 2008 г.), а также докладывались и обсуждались на научных семинарах кафедры «Проектирование вычислительных комплексов» «МАТИ» - РГТУ имени К.Э. Циолковского.

Программный комплекс идентификации голосового сообщения, разработанный на основе предложенной модели, прошёл апробацию на кафедре «Проектирование вычислительных комплексов» «МАТИ» — РГТУ имени К.Э. Циолковского, а также в Политехническом музее в рамках Третьего Фестиваля науки в городе Москве (Москва, ноябрь 2008 г.).

Публикации

1. Балакирев Н.Е., Малков М.А. Метод идентификации голосового сообщения//Информационные технологии. 2008. № 12. С. 66-68.

2. Малков MíA. Идентификационные признаки голоса // Научные труды XXXII Международной молодёжной научной конференции "Гагаринские чтения" в 8 т. Т. 6. М.: МАТИ, 2006¿ С. 163-164.

3. Балакирев Н.Е., Малков М.А. Выделение звуков из непрерывного речевого сигнала // Новые материалы и технологии (НМТ-2006). Материалы Всероссийской научно-технической конференции. В 3 т. Т. 2. М.: ИЦ МАТИ, 2006. С. 129-130.

4. Балакирев Н.Е., Малков М.А. Выделение звуков из непрерывного речевого сигнала // Материалы X Санкт-Петербургской международной конференции «Региональная информатика - 2006». СПб.: СПИИРАН, 2006.

5. Малков М.А. Выделение звуков из непрерывного речевого сигнала // Научные труды ХХХП1 Международной молодёжной научной конференции "Гагаринские чтения" в 8 т. Т. 6. М.: МАТИ, 2007. С. 239240.

6. Балакирев Н.Е., Малков М.А. Распознавание речи на основе артикуляторной характеристики звуков // Сборник трудов VIH Международной научно-методической конференции «Информатика: проблемы, методология, технологии» в 2 т. Т. 1. Воронеж: ВГУ, 2008. С. 56-59.

7. Малков М.А. Построение огибающей цифрового сигнала с помощью интерполяционного многочлена в форме Лагранжа // Научные труды XXXIV Международной молодёжной научной конференции "Гагаринские чтения". Т. 6. М.: МАТИ, 2008. С. 197-198.

8. Малков М.А. Матричный метод сравнения двух голосовых сообщений, предварительно разделённых на фонемы // Компьютеры в учебном, процессе. 2008. № 6. С. 49-54.

9. Малков М.А. Статистическая оценка качества работы метода идентификации голоса // Компьютеры в учебном процессе. 2008. № 9. С. 15-24.

10. Балакирев Н.Е., Малков М.А. Программный комплекс для идентификации голосового сообщения // Материалы XI Санкт-Петербургской международной конференции «Региональная информатика-2008». СПб.: СПИИРАН, 2008.

11. Балакирев Н.Е., Малков М:А. Расширение программного комплекса идентификации голосовых сообщений // Новые материалы и технологии

НМТ-2008). Материалы Всероссийской научно-технической конференции. В 3 т. Т. 2. М.: ИЦ МАТИ, 2008. С. 149-150:

Структура и объем работы

Работа состоит из введения, четырёх глав, заключения, списка литературы и четырёх приложений. Работа изложена на 94 страницах и включает 36 рисунков, 12 таблиц, список литературы из 98 наименований, а также приложения на 23 страницах. Общий объём работы - 117 страниц.

Краткое содержание работы

Во введении обосновывается актуальность темы диссертационной работы. Характеризуются область исследования. Обосновываются научная новизна и практическая значимость выполненного исследования. Формулируются цели исследования и основные положения, выносимые на защиту.

В первой главе изучается процесс речеобразования и основные подходы к определению речи. Приводится классификация речевых технологий и показывается место идентификации голосового сообщения среди них. Анализируются математические методы, которые могут быть использованы при идентификации голосового сообщения — нейросети, частотные цифровые фильтры, Фурье-анализ, кепстральный анализ, методы машинного обучения, векторное квантование, гауссовы смеси и вейвлет-анализ. Производится анализ разработок ведущих компаний в области идентификации голоса (Центр речевых технологий, компания «Речевые технологии», компания «Voice Security Systems Inc.», компания «Nuance» и компания «Agnitio»).

Во второй главе формулируются основные понятия модели идентификации голоса. Анализируется образование фонем звуков русского языка, а также проявление индивидуальных характеристик голоса с точки зрения теории речеобразования. Производится построение структурной схемы, модели идентификации голосового сообщения по фонемной составляющей и индивидуальным характеристикам голоса. Предлагается двоичная и троичная логика принятия решения о равенстве голосовых сообщений.

В третьей главе разрабатывается математический аппарат деления голосового сообщения на фонемы, построения образа фонемы и сравнения образов двух фонем. Предлагается метод матричного анализа сравнения образов фонем первого голосового сообщения с образами фонем второго голосового сообщения. Выделяются варьируемые параметры модели, которые позволяют производить её настройку. Разрабатывается комплекс программ, реализующий предложенную модель идентификации голосового сообщения.

В четвёртой главе разрабатывается метод оценки качества работы предложенной модели идентификации голосового сообщения. Разрабатывается комплекс программ, реализующий этот метод. Проводится статистическая* оценка качества работы модели в зависимости от значений варьируемых параметров, а так же в зависимости от различных параметров произносимой фразы. Даются рекомендации по использованию фраз, соответствующих определённым параметрам (например, длина фразы), для повышения качества работы представленной модели. Делается вывод о её практической применимости.

В заключении приводятся основные результаты и выводы диссертационной работы.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Малков, Максим Александрович

4.5. Выводы

1) Спроектирована структура базы данных для тестирования модели.

2) Предложен метод оценки качества работы модели идентификации голосового сообщения.

3) Разработан программный комплекс, реализующий предложенный метод оценки качества работы модели, позволяющий её тестировать. Вероятность ошибки идентификации составляет 5 - 6%.

4) Получена статистическая оценка качества работы модели идентификации голосового сообщения в зависимости от значений трёх варьируемых параметров модели.

5) Получена статистическая оценка качества работы модели идентификации голосового сообщения в зависимости от параметров фразы. Выработаны рекомендации по выбору фраз, используемых при идентификации.

Заключение

В ходе решения поставленной задачи были получены следующие результаты:

1) Проанализирован процесс речеобразования и исследована работа артикуляторного аппарата человека, в результате чего выработаны пути построения модели идентификации голосового сообщения.

2) Произведён обзор и анализ методов, которые могут использоваться при идентификации голосового сообщения — нейросети, частотные цифровые фильтры, Фурье-анализ, кепстральный анализ, методы машинного обучения, векторное квантование, гауссовы смеси и вейвлет-анализ. В результате для построения модели выбран Фурье-анализ.

3) Построена структурная схема модели идентификации голосового сообщения по фонемной составляющей, и индивидуальным характеристикам голоса.

4) Предложена двоичная и троичная логика принятия решения о равенстве голосовых сообщений.

5) Разработан математический аппарат деления голосового сообщения на фонемы, построения образа фонемы и сравнения образов двух фонем. Предложен метод матричного анализа сравнений образов фонем голосовых сообщений.

6) Определены варьируемые параметры модели, которые позволяют производить её настройку под различные условия применения.

7) Разработан комплекс программ, реализующий предложенную модель идентификации голосового сообщения. Время идентификации составляет менее 1 секунды при длительности фразы 3 секунды на ЭВМ, с частотой процессора 1,60 ГГц и объёмом оперативной памяти 896 МБ.

8) Спроектирована структура базы данных голосовых сообщений для тестирования и статистической оценки качества работы предложенной модели.

9) Предложен метод и разработан комплекс программ для тестирования модели идентификации голосового сообщения. Вероятность ошибки идентификации модели составляет 5 — 6 %.

10) Получена статистическая оценка качества работы предложенной модели в зависимости от значений трёх выбранных варьируемых параметров этой модели.

11) Получена статистическая оценка качества работы предложенной модели в зависимости от параметров фраз. Выработаны рекомендации по выбору фраз, используемых при идентификации.

12) Произведён сравнительный анализ системы идентификации голоса, основанной на предложенной модели, и разработок ведущих компаний в этой области (Центр речевых технологий, компания «Речевые технологии», компания «Voice Security Systems Inc.», компания «Nuance» и компания «Agnitio»), Разработанная модель, несколько уступая в качестве идентификации, обладает рядом преимуществ — более высокое быстродействие, возможность настройки модели, кроме того, разработано средство тестирования модели.

Список литературы диссертационного исследования кандидат технических наук Малков, Максим Александрович, 2009 год

1. Аграновский A.B., Леднов Д.А. Теоретические аспекты алгоритмов обработки и классификации речевых сигналов. М:: Радио и связь, 2004.

2. Аграновский A.B., Леднов Д.А., Репалов С.А. Метод текстонезависимой идентификации диктора на основе индивидуальности произношения гласных звуков // Акустика и прикладная лингвистика: Ежегодник РАО. Вып. 3. М.: 2002. С. 103-115.

3. Айфичер С., Джервис У. Цифровая обработка сигналов: практический подход, 2-е издание // Пер. с англ.: Под ред. A.B. Назаренко. — М.: Издательский дом «Вильяме», 2004.

4. Анализ и синтез речи. Под ред. Б. М. Лобанова. — Минск.: Институт технической кибернетики АН БССР, 1991.

5. Андронов A.A., Витт A.A., Хайкин; С.Э. Теория колебаний. — М.: Физматгиз, 1959. 926 с.

6. Апраушева H.H., Моллаверди Н., Сорокин C.B. Вычисление стационарных точек плотности вероятности простейшей Гауссовой смеси // Динамика неоднородных систем. Выпуск 10(2). — М.: КомКнига, 2006. С. 113-136.

7. Балакирев Н.Е., Малков М.А. Выделение звуков из непрерывного речевого сигнала // Новые материалы и технологии (НМТ-2006). Материалы Всероссийской научно-технической конференции. В 3 т. Т. 2. М.: ИЦМАТИ, 2006. С. 129-130.

8. Балакирев Н.Е., Малков М.А. Выделение звуков из непрерывного речевого сигнала // Материалы X Санкт-Петербургской международной конференции «Региональная информатика 2006». СПб.: СПИИРАН, 2006.

9. Балакирев Н.Е., Малков М.А. Метод идентификации голосового сообщения //Информационные технологии. 2008. № 12. С. 66-68.10.* Балакирев Н.Е., Малков М.А. Программный комплекс для идентификации голосового сообщения // Материалы XI' Санкт

10. Петербургской международной конференции «Региональная информатика — 2008». СПб.: СПИИРАН, 2008.

11. Балакирев Н.Е., Малков М.А. Расширение программного комплекса идентификации голосовых сообщений // Новые материалы и технологии (НМТ-2008). Материалы Всероссийской научно-технической конференции. В 3 т. Т. 2. М.: ИЦ МАТИ, 2008. С. 149-150.

12. Бахвалов Н.С. Численные методы (анализ, алгебра, обыкновенныедифференциальные уравнения). — М.: Наука, 1975.

13. Блейхут Р. Быстрые алгоритмы цифровой обработки сигналов // Пер. с англ. И.И. Грушко. -М.: Мир, 1989.

14. Большаков И.А. Статистические проблемы выделения потока сигналов из шума. -М.: Советское радио, 1969^

15. Бронштейн И.Н., Семендяев К.А. Справочник по математике для инженеров и учащихся втузов. М.: Наука, 1981.

16. Валиулин А.Ф., Тюрин В.Н. Лингвистический метод определения характеристик нестационарных случайных процессов. — М.: ПАИМС, 2000.

17. Вахитов Я.Ш. Слух и речь: Конспект лекций по курсу «Электроакустика». Раздел 2. JL, 1973.

18. Вентцель Е.С., Овчаров JI.A. Теория вероятностей и её инженерные приложения. М.: Наука, 1988. 480 с.

19. Воробьёв H.H. Теория рядов. — М.: Наука, 1986. 408 с.

20. Гнеденко Б.В. Курс теории вероятностей. М.: Наука, 1988. 446 с.

21. Гольденберг JI.M. Цифровая обработка сигналов: Справочник. — М.: Радио и связь, 1985.23.24,25,26,27,28,29