Метод и алгоритмы выделения частоты пульса из речевого сигнала в условиях отсутствия априорной информации о дикторе тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Полешенков Дмитрий Дмитриевич

• Полешенков Дмитрий Дмитриевич
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Полешенков Дмитрий Дмитриевич

Реферат

Synopsis

Введение

Глава 1. Проблемно-классификационный анализ предметной области, постановка задачи исследования

1.1. Обзор существующих способов определения частоты пульса человека

1.2. Обоснование необходимости перехода к определению частоты пульса по голосу

1.3. Анализ существующих моделей источников акустического возбуждения

1.4. Постановка задачи исследования

1.5. Выводы по главе

Глава 2. Исследование влияния процесса функционирования сердечнососудистой системы на процесс речеобразования

2.1. Учет влияния функционирования сердечнососудистой системы человека на процесс речеобразования

2.2. Модель речевого сигнала, учитывающая влияние сердечнососудистой системы человека

2.3. Проверка аппроксимирующих свойств разработанной модели основного тона речевого сигнала

2.4. Выводы по главе

Глава 3. Описание метода и алгоритмов выделения частоты пульса из речевого сигнала

3.1. Определение состава процедур предобработки и подготовки исходных данных

3.2. Разработка алгоритмов выделения и коррекции траектории частоты основного тона на основе частотной демодуляции

3.3. Разработка алгоритма выделения моментов сокращения сердечной мышцы из речевого сигнала

3.4. Описание метода выделения частоты пульса из речевого сигнала

3.5. Выводы по главе

Глава 4. Программная реализация и экспериментальная оценка предложенных решений

4.1. Структура исследовательского программно-аппаратного комплекса выделения частоты пульса из речевого сигнала в условиях отсутствия априорной информации о дикторе

4.2. Программная реализация алгоритма выделения частоты пульса из речевого сигнала

4.3. Экспериментальная оценка разработанного метода и алгоритмов

4.4. Выводы по главе

Заключение

Список литературы

Список рисунков

Список таблиц

Приложение №

Приложение №

Реферат

Введение диссертации (часть автореферата) на тему «Метод и алгоритмы выделения частоты пульса из речевого сигнала в условиях отсутствия априорной информации о дикторе»

Общая характеристика работы

Актуальность темы. Несмотря на негативные мировые тенденции в глобальной экономике, информационные технологии являются одной из её отраслей, которая показывает интенсивный рост по общей стоимости активов, как в России, так и за рубежом. Конъюнктура мирового и российского рынков информационных технологий, безусловно, является отражением возрастающей значимости информационных технологий. В настоящее время повседневная деятельность человека немыслима без результатов достижений данной сферы общественного производства.

Одним из направлений в указанной отрасли экономики, показывающим достаточно интенсивные темпы роста в России, является рынок речевых технологий. Последние все чаще встречаются как в быту, так и в сложных наукоемких автоматизированных системах, функционирование которых обеспечивает работу государственных и коммерческих структур.

Анализ последних тенденций развития данной сферы показывает активное применение речевых технологий в автоматизированных системах управления, что существенным образом расширяет их функциональные возможности. Однако задача оптимизации интерфейса общения пользователя и информационной системы далека от окончательного решения. Одним из направлений её решения является определение физиологического и психоэмоционального состояния пользователя информационной системы, обеспечивающее повышение точности управления путем минимизации ошибок интерпретации управляющих воздействий и уменьшения неопределенности поведения оператора.

Одним из параметров организма, достаточно точно отображающим физиологическое и психоэмоциональное состояние человека, является частота сердечных сокращений. Её изменения носят объективный характер,

не поддаются самоконтролю, и достаточно полно передают текущее состояние субъекта.

Как правило, определение психоэмоционального состояния человека по речевому сигналу в современных информационных системах осуществляется посредством анализа его просодических характеристик, что приводит к недостаточной точности получаемых оценок. Решение задачи получения информации о частоте пульса из речевого сигнала позволяет существенным образом повысить эффективность функционирования систем определения психоэмоционального состояния человека по речевому сигналу. Таким образом, задача разработки методов и алгоритмов выделения частоты пульса из речевого сигнала в условиях отсутствия априорной информации о дикторе является крайне актуальной на сегодняшний день.

Актуальность темы исследования подтверждается большим количеством работ ученых в России: Скопин Д.Е., Баглыков С.Ю., Мещеряков Р.В., Басов О.О. и др. и за рубежом: Milton A., James A.P., Jati A., Smith J., Zelezny M. и др., а также большим количеством посвященных ей докладов на ведущих международных конференциях, таких как ICASSP, SPECOM и Interspeech.

Целью диссертационной работы является разработка методов и алгоритмов выделения частоты пульса из речевого сигнала в условиях отсутствия априорной информации о дикторе, позволяющих повысить точность такого выделения для сигналов длительно произнесенных вокализованных фонем.

Для достижения поставленной цели были сформулированы и решены следующие задачи.

1. Исследование современных подходов к определению физиологических параметров организма посредством анализа речевого сигнала.

2. Исследование влияния процесса функционирования сердечнососудистой системы на процесс речеобразования.

3. Разработка метода выделения траектории частоты основного тона с низкой вычислительной сложностью.

4. Разработка метода и алгоритмов выделения частоты пульса из речевого сигнала в условиях отсутствия априорной информации о дикторе.

5. Разработка исследовательского программно-аппаратного комплекса, реализующего метод выделения частоты пульса из речевого сигнала в условиях отсутствия априорной информации о дикторе.

6. Экспериментальная проверка разработанного научно-методического инструментария.

Объект исследования: модели, методы и алгоритмы анализа и обработки речевых данных.

Предмет исследования: методы и алгоритмы определения параметров речевого сигнала с учетом воздействия сердечнососудистой системы на процесс его формирования.

Методы исследования. Для решения указанных задач использовались методы автоматической обработки естественной речи, статистического анализа, цифровой обработки сигналов, а также методы наблюдения и эксперимента.

Научная новизна исследования.

1. Сформулирована модель воздействия сердечнососудистой системы на процесс синтеза речевого сигнала на его вокализованных интервалах, учитывающая структуру такого воздействия, за счет формального определения зависимости частоты основного тона от изменения параметров системы кровообращения.

2. Разработан метод выделения траектории частоты основного тона речевого сигнала, основанный на статистических свойствах его гармоник, отличительной особенностью которого является возможность его практической реализации средствами вычислительной техники ввиду использования механизма частотной демодуляции. Предложенный метод

обладает низкой вычислительной сложностью и высокой точностью выдаваемых оценок при высоких соотношениях сигнал/шум.

3. Разработан метод и алгоритмы выделения частоты пульса из речевого сигнала в отсутствии априорной информации о дикторе, особенностями которых являются использование для анализа амплитудных и временных параметров речевого сигнала, несущих в себе информацию о сердечных сокращениях, а также отсутствие необходимости точного выделения вокализованных участков речевого сигнала.

Достоверность научных положений и выводов, полученных в диссертационной работе, подтверждается результатами экспериментальных исследований, их соответствием аналогичным результатам, полученным ранее в предметной области, успешным представлением основных положений в докладах на международных и российских конференциях.

Практическая значимость заключается в реализации предложенного метода в виде комплекса программно-аппаратных средств выделения частоты пульса из естественного речевого сигнала в отсутствии априорной информации о дикторе, который может быть использован в виде модуля в системах оценивания психоэмоционального состояния оператора информационной системы.

Основные положения, выносимые на защиту.

1. Модель воздействия сердечнососудистой системы на процесс синтеза основного тона речевого сигнала на его вокализованных интервалах.

2. Метод выделения траектории частоты основного тона речевого сигнала, основанный на механизме частотной демодуляции.

3. Метод и алгоритмы выделения частоты пульса из речевого сигнала в условиях отсутствия априорной информации о дикторе.

4. Комплекс программно-аппаратных средств, обеспечивающий выделение частоты пульса из речевого сигнала в условиях отсутствия априорной информации о дикторе.

Соответствие паспорту специальности. Представленные в диссертационной работе результаты соответствуют пункту 5 «Разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях, разработка и исследование методов и алгоритмов анализа текста, устной речи и изображений» паспорта специальности 05.13.17 - «Теоретические основы информатики».

Внедрение результатов работы. Результаты диссертационной работы использовались:

1) в деятельности акционерного общества «Воентелеком» (г. Москва);

2) в учебном процессе Военной академии связи им. Маршала Советского Союза С.М. Буденного (г. Санкт-Петербург).

Апробация работы. Основные результаты работы представлялись и обсуждались на следующих международных и российских конференциях: Young Scientist's Third International Workshop on Trends in Information Processing (YSIP3) (Архыз, Ставрополь, Россия, 2019), 21-ая Международная конференция «Цифровая обработка сигналов и ее применение» (DSPA - 2019) (Москва, Россия, 2019), 20-ая Международная научно-практическая конференция «Актуальные вопросы современной науки» (Томск, Россия, 2019), 7-ая Международная молодежная научная конференция «Будущее науки - 2019» (Курск, Россия, 2019), Международная научно-практическая конференция «Теория и практика трансдисциплинарных исследований в современном мире» (Санкт-Петербург, Россия, 2019).

Личный вклад. Автором лично проведен анализ существующих подходов к решению задачи выделения частоты пульса из речевого сигнала. На основе проведенного анализа разработан метод выделения частоты пульса из речевого сигнала в отсутствии априорной информации о дикторе, а также алгоритмы реализации указанного метода [1-8]. В целях упрощения алгоритмической реализации метода выделения частоты пульса из речевого сигнала разработан упрощенный метод выделения траектории частоты

основного тона на основе частотной демодуляции. Автором произведена разработка комплекса программно-аппаратных средств выделения частоты пульса из речевого сигнала и программных модулей [9-12], обеспечивающих его работу. Подготовка основных публикаций проводилась с соавторами, при этом вклад автора был основным.

Публикации. Основные результаты по теме диссертации изложены в 8 печатных изданиях, 3 из которых изданы в журналах, рекомендованных ВАК, 1 - в международных изданиях, индексируемых в базе Scopus. Получено 4 свидетельства государственной регистрации на программы для ЭВМ и 1 свидетельство о государственной регистрации баз данных.

Объем и структура работы. Диссертация состоит из введения, четырех глав и заключения. Полный объем диссертации 111 страниц текста с 37 рисунками и 4 таблицами. Список литературы содержит 97 наименований.

Содержание работы

Во введении диссертационной работы обоснована актуальность проводимых исследований. Сформулированы цель, задачи и положения, выносимые на защиту. Изложена научная новизна и практическая значимость результатов, полученных в диссертационной работе.

Первая глава посвящена проблемно-классификационному анализу предметной области. В ней осуществлена постановка задачи исследования.

В разделе 1.1 описаны основные существующие методы определения частоты пульса человека, приведена их классификация в зависимости от способа получения исходного сигнала и применяемых методов обработки. Приведено достаточно подробное описание методов определения пульса пользователя информационной системы с использованием соответствующих каналов общения, а также произведен анализ указанных методов с точки зрения возможных решаемых задач.

В разделе 1.2 описаны недостатки существующих способов определения частоты пульса, в связи с чем произведено обоснование необходимости перехода к определению частоты пульса посредством анализа речевого сигнала.

Частота сердечных сокращений является одним из физиологических параметров, позволяющих достаточно точно определять изменения психоэмоционального и физиологического состояния человека. Однако при решении ряда задач, связанных, например, с осуществлением деятельности правоохранительных органов, определение частоты сердечных сокращений непосредственно путем локального подключения физических датчиков не представляется возможным, поскольку раскрывает для субъекта факт оценки его психоэмоционального состояния. Потребность в скрытой оценке состояния субъекта обуславливает необходимость создания метода выделения пульса косвенным способом с целью его последующей интерпретации.

Ввиду того, что функционирование сердечнососудистой системы оказывает влияние на все системы организма человека, существует возможность выделения информации о частоте пульса посредством анализа естественного речевого сигнала. В ряде работ показано, что изменение периода основного тона речи содержит в себе периодические и случайные компоненты1, а также выдвигается предположение о том, что периодические изменения периода основного тона могут быть вызваны пульсациями кровотока2.

Все это обуславливает необходимость более детального изучения закономерностей синтеза основного тона в процессе речеобразования с

1 Бабкин В.В. Помехоустойчивый выделитель основного тона речи // Цифровая обработка сигналов и ее применение: материалы 7-й международной конф. М.: ИПУ РАН, 2005. Доклады, X-! С. 175-178.

Басов О.О., Носов М.В., Шалагинов В.А. Исследование характеристик джиттера периода основного тона речевого сигнала // Труды СПИИРАН. 2014. Вып. 32. С. 27-44.

целью выявления зависимости между изменением параметров основного тона и функционированием сердечнососудистой системы.

Раздел 1.3 посвящен анализу существующих моделей голосового источника на предмет учета прямого или косвенного влияния функционирования сердечнососудистой системы на процесс синтеза речи в соответствии с указанными моделями. Показано, что распространенные модели являются локально применимыми и не учитывают влияния других систем организма на процесс синтеза речи. Все это обуславливает необходимость описания механизмов влияния функционирования сердечнососудистой системы на процесс речеобразования и, как следствие, описания модели голосового источника, учитывающей влияние сердечнососудистой системы на процесс синтеза речи.

В разделе 1.4 произведена постановка задачи исследования в целом и сформулированы основные подзадачи, соответствующие этапам проведения исследования.

Вторая глава посвящена исследованию влияния процесса функционирования сердечнососудистой системы на процесс речеобразования.

В разделе 2.1 исходя из физиологии процесса кровообращения и строения органов кровеносной системы, предложены следующие основные механизмы влияния функционирования системы кровообращения на процесс синтеза основного тона речи:

влияние сокращений сердечной мышцы на интенсивность воздушного потока из легких путем физического воздействия на их поверхность;

влияние изменений потока крови в аорте, легочной артерии и кровеносных сосудах легких на интенсивность воздушного потока;

влияние пульсаций кровеносных сосудов голосовых связок на фазовые соотношения акустического волнового процесса.

Из описанных механизмов следует, что процесс функционирования сердечнососудистой системы оказывает влияния только на вокализованные и

слабо вокализованные интервалы речевого сигнала. Также в указанном разделе выдвинуты предположения о количественных соотношениях проявления описанных механизмов в реализациях речевого сигнала.

Раздел 2.2 посвящен описанию модели речевого сигнала, учитывающей влияние процесса функционирования сердечнососудистой системы.

На основе исследованных механизмов влияния функционирования сердечнососудистой системы на процесс синтеза основного тона речи и полученных экспериментальных данных траектория частоты основного тона для вокализованных фонем может быть определена следующим образом:

/«) = ^ + т) + т Ф([ ~ Т} + т2И( -т2), (1)

т

где - траектория частоты основного тона, Г0 - средняя частота основного тона, - интонационная составляющая, т}, т2 - коэффициенты

пропорциональности, Т}, т2 - временные задержки, р^) - воздействие на голосовые связки, к(^) - суммарное воздействие на легкие со стороны органов сердечнососудистой системы, расположенных внутри грудной полости.

В разделе 2.3 произведена базовая оценка аппроксимирующих свойств описанной модели речевого сигнала с точки зрения передачи траектории частоты основного тона. Оценка производилась на записях длительно

-5

произнесенных вокализованных фонем .

Третья глава посвящена описанию разработанного метода и алгоритмов выделения частоты пульса из речевого сигнала.

В разделе 3.1, исходя из описания метода, сформулированы условия функционирования алгоритмов, реализующих указанные метод, определен состав процедур предобработки и подготовки исходных данных.

База данных речевого сигнала / Полешенков Д.Д., Басов О.О.; автор и правообладатель Полешенков Д.Д., Басов О.О. (ЯЦ). - № 2020620250; зарегистр. 11.02.2020, Реестр программ для ЭВМ. - 1 с.

Ввиду высоких требований, предъявленных к скорости функционирования алгоритма, возникает необходимость использования минимального количества входных параметров, при этом разработанные алгоритмы должны быть независимы от строения речевого аппарата диктора. Исходя из этого, представляется целесообразным использовать в качестве исходных данных только набор отсчетов речевого сигнала и информацию о частоте дискретизации.

Так как основной процедурой, обеспечивающей реализацию предложенного метода, является выделение траектории частоты основного тона речевого сигнала, которая обладает наибольшей вычислительной сложностью, необходимо максимально упростить ее реализацию. Таким образом, может быть сформулирована задача описания алгоритма выделения траектории частоты основного тона речевого сигнала, обладающего низкой вычислительной сложностью. Её решение лежит в плоскости использования корреляционных свойств гармоник основного тона на вокализованных интервалах речевого сигнала, практическое выделение которых осуществимо посредством механизма частотной демодуляции.

Раздел 3.2 посвящен разработке алгоритма выделения траектории частоты основного тона на основе частотной демодуляции.

Исходя из описания структуры резонансной системы речевого аппарата человека4, можно сделать вывод о том, что в ней отсутствуют элементы, вносящие структурные нелинейные искажения, что приводит к ограничению возможности появления дополнительных спектральных составляющих речевого сигнала (на вокализованных участках) кроме тех, что вызваны квазипериодическими осцилляциями голосовых связок. Как следует из модели колебаний голосовых связок5, рассматриваемые осцилляции имеют фиксированный набор гармоник для заданной функции мышечного возбуждения. Следовательно, изменения параметров колебаний связок будут

4 Сорокин ВН. 1992. Синтез речи. М., Наука, 392.

5 Сорокин В.Н. 1985. Теория речеобразования. М., Радио и связь, 312.

приводить к сильнокоррелированным откликам на частотах гармоник. Предполагается, что изменение функции мышечного возбуждения на фонемных переходах будет вносить дополнительные отличия в сигналы гармоник основного тона.

В ходе анализа длительно произнесенных вокализованных фонем (? = 10.. .14 с) было выявлено, что основной вклад в изменение частоты и амплитуды основного тона вносит функционирование сердечнососудистой системы, а результат работы алгоритмов выделения параметров основного тона для указанных сигналов полностью соответствует результату частотной демодуляции первой гармоники речевого сигнала (рисунок 1).

Рисунок 1. Сравнение результатов работы спектрального выделителя для первой (а) и второй (б) гармоник основного тона с результатом частотной демодуляции его соответствующих гармоник для сигнала длительно

произнесенной фонемы «а»

Данная особенность речевого сигнала на вокализованных интервалах применима в рамках алгоритма (рисунок 2), использующего следующие исходные данные: s(n) - последовательность отсчетов исходного речевого сигнала; /д - частота дискретизации; р - значение порога принятия решения.

При работе алгоритма после ввода данных происходит вычисление средней частоты основного тона (/Ср) (максимума спектра сигнала в полосе частот от 50 до 350 Гц, соответствующего основному тону) посредством дискретного преобразование Фурье. Далее происходит выделение полосы частот основного тона и предполагаемой полосы частот его первой гармоники, формируются соответствующие им сигналы s1(n) и s2(n), после чего осуществляется их частотная демодуляция с несущими и 2/ср соответственно. На основе результата демодуляции (сигналов sd1(n) и sd2(n) соответственно) происходит вычисление отклонения в соответствии с выражением:

£(П) =

(п) -1 (п)

(3)

г

ср

Далее осуществляется сравнение сигнала отклонения, вычисленного в соответствии с выражением (3), с пороговым значения р. Величина порога выбирается исходя из средней амплитуды изменения траектории частоты основного тона и может определяться непосредственно из речевого сигнала в ходе работы алгоритма. При превышении отклонением порогового значения соответствующие отсчеты сигнала условно определяются как шумоподобные и не учитываются при дальнейшем анализе. Таким образом, в результате работы алгоритма остаются полученные значения траектории частоты основного тона, с высокой вероятностью соответствующие вокализованным составляющим речевого сигнала.

Начало

ф), fd, p

Вычисление средней частоты ОТ fcp

Фильтрация сигнала s(n) в полосе частот ОТ и его гармоник

[kFcp-Fc/2:kFcp+Fc/2]

i = 1

Вычисление значений

сигналов частотной демодуляции гармоник

sdi, sd2

12

13

14

15

i < length (s)

Нет

s,^a(i) = 0

1

i = i + 1

1

11 1

s^i) = sdO

Конец

3

4

5

6

7

s

Рисунок 2. Блок-схема алгоритма, реализующего предложенный метод

Ввиду того, что получаемый сигнал траектории частоты основного тона несет в себе большую постоянную составляющую (средняя частота основного тона), медленные изменения которой вызваны интонационным окрасом произнесенных сегментов и изменением объема легких по мере выдоха, произведена минимизация указанных факторов в соответствии с алгоритмом коррекции (рисунок 3).

Рассматриваемый алгоритм вносит дополнительные искажения, вызванные негладким (кусочно-линейным) характером кривой коррекции, однако, они приводят лишь к незначительному растеканию периодических

составляющих спектра рассматриваемого сигнала, в связи с тем, что положение точек перехода через ноль и положение экстремумов сигнала не изменяется относительно временной шкалы.

Рисунок 3. Блок-схема алгоритма коррекции

Раздел 3.3 посвящен разработке алгоритма выделения моментов сокращения сердечной мышцы из речевого сигнала. Предлагаемый в работе алгоритм основан на выделении моментов ударов пульса из последовательности отсчетов средней мощности импульсов основного тона речевого сигнала посредством автокорреляционной функции.

В качестве исходных данных для алгоритма, реализующего описанный способ (рисунок 4), используется последовательность отсчетов анализируемого речевого сигнала s(n) и значение частоты дискретизации/д.

Рисунок 4. Блок-схема алгоритма выделения моментов ударов пульса

После ввода исходных данных осуществляется вычисление амплитудного спектра A(f) посредством быстрого преобразования Фурье, с целью определения границ второй формантной области. Для этого вычисляются значения кривой c(f), представляющей собой гладкую линию, соединяющую локальные максимумы спектра. Далее осуществляется поиск

абсцисс локальных минимумов / и / указанной кривой, которые соответствуют верхней и нижней границам второй формантной области.

На основе полученных значений осуществляется синтез полосового фильтра, предназначенного для выделения второй формантной области из анализируемого речевого сигнала. Полученный в результате фильтрации полигармонический сигнал Яф(п) (рисунок 5а) представляет собой последовательность импульсов основного тона с высокочастотным заполнением. Выделение сигнала последовательности импульсов основного тона sи(n) (рисунок 5б) осуществляется в соответствии с выражением:

N—1

^ (п) = 2 к(т) 8ф(п - т), (4)

и '

т=1

где Н(ш) - импульсная характеристика полосового фильтра с полосой пропускания, ограниченной частотами ¥н = /от/2 (половина частоты основного тона) и ¥в = / (верхняя граница второй формантной области). Применение полосового фильтра обусловлено необходимостью устранения постоянной составляющей анализируемого сигнала.

Выделение границ импульсов для вычисления значения средней мощности на его длительности в рассматриваемом алгоритме осуществляется посредством определения интервалов знакоперемены в соответствии с выражением:

г(п) = I1' ПРи ^(п) ~ 0

Г [0, при ^ (п) < 0. ( )

На основе полученных в соответствии с выражением (5) значений г(п) осуществляется вычисление отсчетов граничных точек импульсов основного тона анализируемой последовательности 8и(п) в соответствии с условием, описанным выражением:

11, если г(п) ф г(п — 1),

8(п) = 1п (()) (( 1 (6)

10, если г(п) = г(п — 1).

Рисунок 5. Пример полученных последовательности импульсов основного тона с высокочастотным заполнением (а) и обработанной последовательности (б)

Номера отсчетов, полученных в соответствии с выражением (6), при которых g(n) = 1, соответствуют границам сегментов сигнала su(n), содержащих импульс основного тона.

На основе рассчитанных значений осуществляется формирование последовательности отсчетов средней мощности импульсов основного тона p(n) (рисунок 6). Вычисление значения средней мощности p на интервале длительности импульса основного тона осуществляется в соответствии с выражением:

^ m

p(n : m) = — £^2(0

N ' 7 = Г7

(7)

где п - отсчет начала сегмента, содержащего импульс основного тона, т отсчет конца сегмента, содержащего импульс основного тона.

р{п)

1 2 3 4 5 6 вхЮ5, отс.

Рисунок 6. Пример последовательности отсчетов средней мощности

импульсов основного тона

По завершении выполнения предыдущих вычислений производится расчет автокорреляционной функции B(n) сигнала p(n), полученного в соответствии с выражением (4). Низкочастотные квазипериодические изменения сигнала B(n) соответствуют воздействию со стороны сердечнососудистой системы. Выделение указанных составляющих осуществляется посредством полосового фильтра с полосой пропускания, соответствующей полосе сигнала пульса (А/ = 0,6...20 Гц). Локальные максимумы сигнала h(n), полученного на выходе полосового фильтра, соответствуют моментам сокращений сердечной мышцы.

Список литературы диссертационного исследования кандидат наук Полешенков Дмитрий Дмитриевич, 2020 год

ЛИТЕРАТУРА

1. Физиология : учебник для студентов лечебного и педиатрического факультетов / под ред. В. М. Смирнова, В. А. Правдивцева, Д. С. Свешникова. — 5-е изд., испр. и доп. — М. : Медицинское информационное агентство, 2017. — С. 234—281.

2. Полешенков Д. Д., Басов О. О. Моделирование траектории изменения частоты основного тона // 21-я Международная конференция «Цифровая обработка сигналов и ее применение — Б8РА-2019» : доклады. Вып. ХХ1-1. — С. 233—237.

3. Дикий И. С., Дикая Л. А. Противодействие полиграфным проверкам : учебное пособие. — Ростов-на-Дону, Таганрог : Издательство Южного федерального университета, 2018. — 86 с.

4. Milton A., Monsely K. A. Tamil and English speech database for heartbeat estimation // International Journal of Speech Technology. — 2018. — Vol. 21. — Issue 4. — P. 967—973.

5. James A. P. Heart rate monitoring using human speech spectral features // Human-centric Computing and Information Sciences. — 2015. — Vol. 5, no. 1. — P. 1—12.

6. Towards Predicting Physiology from Speech During Stressful Conversations: Heart Rate and Respiratory Sinus Arrhythmia — 2018 / A. Jati [et al.] // IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — Calgary: AB, 2018. — P. 4944—4948.

7. Analysis and prediction of heart rate using speech features from natural speech / J. Smith A. [et al] // 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — New Orleans : LA, 2017. — P. 989—993.

8. Полешенков Д. Д., Басов О. О. Влияние сердцебиения на мощность импульсов основного тона речи // Актуальные вопросы современной науки : сборник статей по материалам XX международной научно-практической конференции (11 апреля 2019 г., г. Томск) : в 3 ч. Ч. 1. — Уфа : Дендра, 2019. — С. 114—121.

9. Полешенков Д. Д. Алгоритм выделения частоты основного тона посредством частотной демодуляции // Будущее науки — 2019 : сборник научных статей 7-й Международной молодежной научной конференции (25-26 апреля 2019 года) : в 6 т. Т. 6. — Курск : Юго-Зап. гос. ун-т., 2019. — С. 238—241.

10. Кабанов Н. А. Анатомия человека : учебник для СПО. — М. : Юрайт, 2019. — С. 289—293.

11. Полешенков Д. Д., Басов О. О. Алгоритм выделения изменений частоты сердечных сокращений из речевого сигнала // Теория и практика трансдисциплинарных исследований в современном мире : сборник научных статей по итогам международной научно-практической конференции. — СПб. : Изд. СПбГЭУ, 2019. — С. 29—32.

12. Полешенков Д. Д., Басов О. О. Способ выделения траектории частоты основного тона речи на основе частотной демодуляции // Научные ведомости БелГУ. Экономика и информатика. — 2019. — № 2 (46). — С. 359—366.

13. Сорокин В. Н. Сегментация периода основного тона голосового источника // Акустический журнал. — 2016. — Т. 62. — № 2. — С. 247—258.

14. Использование краткосрочных характеристик в обработке речи. — URL: http://habr.com/ru/post/195448/ (дата обращения: 11.08.2019).

15. Лебедева Н. Н., Каримова Е. Д. Акустические характеристики речевого сигнала как показатель функционального состояния человека // Успехи физиологических наук. — 2014. — Т. 45. — № 1. — С. 57—95.

16. Свидетельство № 2019614402 Российская Федерация, свидетельство о государственной регистрации программы для ЭВМ. Программа коррекции медленно изменяющихся составляющих траектории частоты основного тона речевого сигнала / Полешенков Д.Д.; автор и правообладатель Полешенков Д.Д. (RU). — № 2019613190; заявл. 26.03.2019; зарегистр. 04.04.2019, Реестр программ для ЭВМ. — 1 с.

17. Свидетельство № 2019614500 Российская Федерация, свидетельство о государственной регистрации программы для ЭВМ. Программа выделения траектории частоты и амплитуды гармоник основного тона речевого сигнала / Полешенков Д.Д.; автор и правообладатель Полешенков Д.Д. (RU). — № 2019613284; заявл. 26.03.2019; зарегистр. 05.04.2019, Реестр программ для ЭВМ. — 1 с.

18. Свидетельство № 2019614401 Российская Федерация, свидетельство о государственной регистрации программы для ЭВМ. Программа выделения траектории частоты основного тона речевого сигнала на основе частотной демодуляции / Полешенков Д.Д.; автор

и правообладатель Полешенков Д.Д. (RU). — № 2019613189; заявл. 26.03.2019; заре-гистр. 04.04.2019, Реестр программ для ЭВМ. — 1 с.

REFERENCES

1. . Fiziologiya : uchebnik dlya studentov lechebnogo i pediatricheskogo fakultetov / pod red. V. M. Smirnova, V. A. Pravdivtseva, D. S. Sveshnikova. — 5-e izd., ispr. i dop. — M. : Meditsinskoe informatsionnoe agentstvo, 2017. — S. 234—281.

2. Poleshenkov D. D., Basov O. O. Modelirovanie traektorii izmeneniya chastotyi os-novnogo tona // 21-ya Mezhdunarodnaya konferentsiya «Tsifrovaya obrabotka signalov i ee primenenie — DSPA-2019» : dokladyi. Vyip. XXI-1. — S. 233—237.

3. Dikiy I. S., Dikaya L. A. Protivodeystvie poligrafnyim proverkam : uchebnoe posobie. — Rostov-na-Donu, Taganrog : Izdatelstvo Yuzhnogo federalnogo universiteta, 2018. — 86 s.

4. Milton A., Monsely K. A. Tamil and English speech database for heartbeat estimation // International Journal of Speech Technology. — 2018. — Vol. 21. — Issue 4. — P. 967—973.

5. James A. P. Heart rate monitoring using human speech spectral features // Human-centric Computing and Information Sciences. — 2015. — Vol. 5, no. 1. — P. 1—12.

6. Towards Predicting Physiology from Speech During Stressful Conversations: Heart Rate and Respiratory Sinus Arrhythmia — 2018 / A. Jati [et al.] // IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — Calgary: AB, 2018. — P. 4944—4948.

7. Analysis and prediction of heart rate using speech features from natural speech / J. Smith A. [et al] // 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). — New Orleans : LA, 2017. — P. 989—993.

8. Poleshenkov D. D., Basov O. O. Vliyanie serdtsebieniya na moschnost impulsov os-novnogo tona rechi // Aktualnyie voprosyi sovremennoy nauki : sbornik statey po materialam XX mezhdunarodnoy nauchno-prakticheskoy konferentsii (11 aprelya 2019 g., g. Tomsk) : v 3 ch. Ch. 1./ — Ufa : Dendra, 2019. — S. 114—121.

9. Poleshenkov D. D. Algoritm vyideleniya chastotyi osnovnogo tona posredstvom chastotnoy demodulyatsii // Buduschee nauki — 2019 : sbornik nauchnyih statey 7-y Mezhdunarodnoy molodezhnoy nauchnoy konferentsii (25-26 aprelya 2019 goda) : v 6 t. T. 6. — Kursk : Yugo-Zap. gos. un-t., 2019. — S. 238—241.

10. Kabanov N. A. Anatomiya cheloveka : uchebnik dlya SPO. — M. : Yurayt, 2019. —S. 289—293.

11. Poleshenkov D. D., Basov O. O. Algoritm vyideleniya izmeneniy chastotyi ser-dechnyih sokrascheniy iz rechevogo signala // Teoriya i praktika transdistsiplinarnyih issledo-vaniy v sovremennom mire : sbornik nauchnyih statey po itogam mezhdunarodnoy nauchno-prakticheskoy konferentsii. — SPb. : Izd. SPbGEU, 2019. — S. 29—32.

12. Poleshenkov D. D., Basov O. O. Sposob vyideleniya traektorii chastotyi osnovnogo tona rechi na osnove chastotnoy demodulyatsii // Nauchnyie vedomosti BelGU. Ekonomika i informatika. — 2019. — # 2 (46). — S. 359—366.

13. Sorokin V. N. Segmentatsiya perioda osnovnogo tona golosovogo istochnika // Akusticheskiy zhurnal. — 2016. — T. 62. — # 2. — S. 247—258.

14. Ispolzovanie kratkosrochnyih harakteristik v obrabotke rechi. — URL: http://habr.com/ru/post/195448/ (data obrascheniya: 11.08.2019).

15. Lebedeva N. N., Karimova E. D. Akusticheskie harakteristiki rechevogo signala kak pokazatel funktsionalnogo sostoyaniya cheloveka // Uspehi fiziologicheskih nauk. — 2014. — T. 45. — # 1. — S. 57—95.

16. Svidetelstvo # 2019614402 Rossiyskaya Federatsiya, svidetelstvo o gosudarstven-noy registratsii programmyi dlya EVM. Programma korrektsii medlenno izmenyayuschihsya sostavlyayuschih traektorii chastotyi osnovnogo tona rechevogo signala / Poleshenkov D.D.; avtor i pravoobladatel Poleshenkov D.D. (RU). — # 2019613190; zayavl. 26.03.2019; zare-gistr. 04.04.2019, Reestr programm dlya EVM. — 1 s.

17. Svidetelstvo # 2019614500 Rossiyskaya Federatsiya, svidetelstvo o gosudarstven-noy registratsii programmyi dlya EVM. Programma vyideleniya traektorii chastotyi i ampli-tudyi garmonik osnovnogo tona rechevogo signala / Poleshenkov D.D.; avtor i pravoobladatel Poleshenkov D.D. (RU). — # 2019613284; zayavl. 26.03.2019; zaregistr. 05.04.2019, Reestr programm dlya EVM. — 1 s.

18. Svidetelstvo # 2019614401 Rossiyskaya Federatsiya, svidetelstvo o gosudarstven-noy registratsii programmyi dlya EVM. Programma vyideleniya traektorii chastotyi osnovnogo tona rechevogo signala na osnove chastotnoy demodulyatsii / Poleshenkov D.D.; avtor i pravoobladatel Poleshenkov D.D. (RU). — # 2019613189; zayavl. 26.03.2019; zaregistr. 04.04.2019, Reestr programm dlya EVM. — 1 s.

СВЕДЕНИЯ ОБ АВТОРАХ

Полешенков Дмитрий Дмитриевич. Аспирант.

Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО).

E-mail: [e-mail]

Россия, 197101, г. Санкт-Петербург, Кронверкский пр., 49. Тел. [phone].

Басов Олег Олегович. Старший научный сотрудник факультета информационных технологий и программирования. Доктор технических наук, доцент.

Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики (Университет ИТМО).

E-mail: [e-mail]

Россия, 197101, г. Санкт-Петербург, Кронверкский пр., 49. Тел. [phone].

Poleshenkov Dmitry Dmitrievich. Post-graduate student.

St. Petersburg National Research University of Information Technologies, Mechanics and Optics (ITMO University).

E-mail: [e-mail]

Work address: Russia, 197101, St. Petersburg, Kronverksky Pr., 49. Tel.: [phone]

Basov Oleg Olegovich. Senior researcher of Information Technologies and Programming Faculty. Doctor of Technical Sciences, Assistant Professor.

St. Petersburg National Research University of Information Technologies, Mechanics and Optics (ITMO University).

E-mail: [e-mail]

Work address: Russia, 197101, St. Petersburg, Kronverksky Pr., 49. Tel.: [phone]

Ключевые слова: речевой сигнал; частота сердечных сокращений; импульсы основного тона; траектория частоты основного тона.

Key words: speech signal; heartbeat frequency; pitch pulses; pitch frequency trajectory.

УДК 004.522

УДК 004.021

СПОСОБ ВЫДЕЛЕНИЯ МОМЕНТОВ УДАРОВ ПУЛЬСА ИЗ ВОКАЛИЗОВАННЫХ УЧАСТКОВ РЕЧИ

© 2019 Д. Д. Полешенков1, О. О. Басов1, С. С. Кочедыков2, А. Н. Перегудов2

1Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Кронверкский пр., 49, 197101, г. Санкт-Петербург, Россия, 2Воронежский институт ФСИН России, ул. Иркутская, 1а, 394072, г. Воронеж, Россия E-mail: [e-mail]

Поступила в редакцию 29.07.2019 г.

Аннотация. В данной работе описан способ выделения моментов ударов пульса из вокализованных участков речевого сигнала. Описан алгоритм, реализующий указанный способ. Произведена первичная проверка работы алгоритма на примере длительно произнесенных вокализованных фонем.

Ключевые слова: речевой сигнал, пульс, сердцебиение, импульсы основного тона, средняя энергия.

ВВЕДЕНИЕ

Анализ распространенных подходов к получению информации о психоэмоциональном состоянии диктора по параметрам произнесенного им речевого сигнала [1-3] показывает, что основным рассматриваемым параметром являются просодические характеристики речевого сигнала. При решении задач, связанных с контролем физиологического состояния диктора, с целью классификации высказываний по критерию ложь/не ложь, данный подход может привести к большому количеству недостоверных оценок при сравнительно небольшом объеме накопленных статистических данных, характеризующих конкретного диктора.

Одним из физиологических параметров, позволяющих с высокой точностью определить эмоциональное состояние диктора, является частота сердечных сокращений (ЧСС). В ряде работ [4-6] выдвинуто предположение о возможном влиянии функционирования сердечнососудистой системы на параметры основного тона (ОТ) речевого сигнала (РС), а также описаны механизмы такого влияния на примере длительно произнесенных вокализованных фонем [6].

Все это обуславливает актуальность решения задачи выделения моментов ударов пульса из вокализованных участков речи в условиях

отсутствия априорной информации о дикторе, с целью повышения точности оценки его психоэмоционального состояния.

ОПИСАНИЕ СПОСОБА

Исходя из физиологии процесса функционирования сердечнососудистой системы [7] и анатомии расположения сердца и крупных сосудов грудной полости [8] можно предположить, что сокращения сердечной мышцы будут приводить, в том числе, к периодическим изменениям частоты и средней мощности импульсов ОТ. Изменения частоты ОТ, как показано в работе [6], носят сложный характер из-за влияния пульсаций сосудов голосовых связок, что затрудняет использование данного параметра в качестве исходного сигнала для выделения моментов ударов пульса. В связи с этим представляется целесообразным использовать значение средней мощности импульса ОТ в качестве информационного параметра.

Импульсы ОТ имеют близкую к треугольную форму [9], что приводит к достаточно большому числу гармоник в РС, однако, из-за сложного строения резонансной системы речевого аппарата, происходит изменение их фазовых соотношений. В связи с этим прямое восстановление формы импульса по основным гармоникам РС является трудно решаемой задачей. В работе [10] показан способ восстановления формы импульсов ОТ по второй и третьей формантным

областям РС, в полосе частот от 1000 до 3000 Гц. Ввиду того, что не требуется точное восстановление формы импульсов ОТ, способ, применяемый в данной работе, является упрощенным и имеет достаточно простую реализацию с точки зрения вычислительной сложности, в связи, с чем может быть использован при решении задачи выделения моментов ударов пульса из РС.

Стоит учитывать, что в соответствии с теоремой Котельникова верхняя граница частоты описываемого воздействия на мощность импульсов ОТ, позволяющая восстановить сигнал воздействия без искажения по последовательности отсчетов средней мощности импульсов ОТ, будет соответствовать половине значения частоты ОТ. Так как значение верхней частоты спектра пульсограмм и фонокардиограмм в среднем не превышают значения 20 Гц [6; 11], то представляется возможным выделение моментов ударов пульса с использованием рассмотренного принципа без существенных искажений.

Ввиду того, что мощность импульсов ОТ определяется, в том числе, эмоциональным окрасом произнесенного речевого сегмента, существует необходимость выделения периодических составляющих, вызванных функционированием сердечнососудистой системы. Предполагается использование автокорреляционной функции (АКФ) для определения моментов ударов пульса.

Таким образом, может быть сформулирован способ выделения моментов ударов пульса из последовательности отсчетов средней мощности импульсов ОТ посредством АКФ.

ОПИСАНИЕ АЛГОРИТМА,

РЕАЛИЗУЮЩЕГО ПРЕДЛОЖЕННЫЙ СПОСОБ

В качестве исходных данных для алгоритма, реализующего описанный способ (рис. 1), используется последовательность отсчетов анализируемого речевого сигнала в(п) и значение частоты дискретизации /

После ввода исходных данных осуществляется вычисление амплитудного спектра А(/) посредством быстрого преобразования Фурье, с целью определения границ второй формант-ной области. Для этого вычисляются значения кривой с(/), представляющей собой гладкую линию, соединяющую локальные максимумы

спектра. Далее осуществляется поиск абсцисс локальных минимумов /1 и /2 указанной кривой, которые соответствуют верхней и нижней границам второй формантной области.

На основе полученных значений осуществляется синтез полосового фильтра (ПФ), предназначенного для выделения второй формант-ной области из анализируемого РС. Полученный в результате фильтрации полигармонический сигнал 8ф(и) (рис. 2а) представляет собой последовательность импульсов ОТ с высокочастотным заполнением. Выделение сигнала последовательности импульсов ОТ ви(п) (рис. 2б) осуществляется в соответствии с выражением:

ви (п) = ^ к(т) |зф (п - т)|,

(1)

"(п) =

(2)

где Н(ш) - импульсная характеристика полосового фильтра с полосой пропускания, ограниченной частотами ¥ = f /2 (половина час-

н от' ^

тоты ОТ) и ¥в = f (верхняя граница второй формантной области). Применение полосового фильтра обусловлено необходимостью устранения постоянной составляющей анализируемого сигнала.

Выделение границ импульсов для вычисления значения средней мощности на его длительности в рассматриваемом алгоритме осуществляется посредством определения интервалов знакоперемены в соответствии с выражением

Г1, при ви (п) > 0,

[0, при ви (п) < 0.

На основе полученных в соответствии с выражением (2) значений г(п) осуществляется вычисление отсчетов граничных точек импульсов ОТ анализируемой последовательности 8 (п) в соответствии с условием, описанным выражением

Г1, если г(п) П г(п - 1),

д(п) = ь (\ ( л\ (3) [0, если г(п) = г(п - 1).

Номера отсчетов, полученных в соответствии с выражением (3), при которых g(n) = 1, соответствуют границам сегментов сигнала 8 (п), содержащих импульс ОТ.

На основе рассчитанных значений осуществляется формирование последовательности отсчетов средней мощности импульсов ОТ р(п) (рис. 3). Вычисление значения средней мощности р на интервале длительности импульса ОТ осуществляется в соответствии с выражением:

т =1

Рис. 1. Блок-схема алгоритма выделения моментов ударов пульса

1 m

p(n : m) = — £ ^2(г), (4)

^ * г=n

где n - отсчет начала сегмента, содержащего импульс ОТ, m - отсчет конца сегмента, содержащего импульс ОТ.

По завершении выполнения предыдущих вычислений производится расчет АКФ B(n) сигналаp(n), полученного в соответствии с выражением (4). Низкочастотные квазипериодические изменения сигнала B(n) соответствуют воздействию со стороны сердечнососудистой системы. Выделение указанных составляющих осуществляется посредством полосового филь-

тра с полосой пропускания, соответствующей полосе сигнала пульса (А/ = 0,6...20 Гц). Локальные максимумы сигнала Н(и), полученного на выходе полосового фильтра, соответствуют моментам сокращений сердечной мышцы.

РЕЗУЛЬТАТЫ

Сравнение значений, полученных в результате работы описанного алгоритма (сигнал Н(и) ), с синхронно записанными фонокардиог-раммами (сигналр0(п)) (рис. 4) показало достаточно высокое совпадение локальных максимумов расчетного сигнала с моментами сокращения желудочков и предсердий. Стоит отметить,

1.72 1.73 1.74 1.75 1.76 1.77 ихЮ5

а)

1.72 1.73 1.74 1.75 1.76 1.77 их105

б)

Рис. 2. Последовательности импульсов ОТ. а - последовательность импульсов ОТ с высокочастотным заполнением; б - выделенная последовательность импульсов ОТ)

р(п)

Рис. 3. Сигнал средней мощности импульсов ОТ

р0(п), /?(я)

Ух X..... Л

I V |

0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 «хЮ5

фонокардиограмма ----------полученный сигнал

Рис. 4. Результаты работы алгоритма

что всплески на периодах фонокардиограмм соответствуют закрытию атриовентрикулярных и полулунных клапанов, которые не совпадают с моментами сокращений желудочков и предсердий. Таким образом, всплески сигнала Н(и) соответствуют моментам максимального воздействия на поверхность легких со стороны сердечной мышцы при ее сокращениях.

ВЫВОДЫ

Результаты, полученные в данной работе, могут быть использованы при совершенствовании приборов, позволяющих определять физиологического состояния диктора по произнесенному им РС, с целью классификации высказываний по критерию ложь/не ложь. Описанный способ выделения моментов ударов пульса из вокализованного РС и алгоритм его реализации, несмотря на относительно невысокую точность, позволяют однозначно идентифицировать моменты падения и роста ЧСС. Использование описанного алгоритма в сочетании с алгоритмами выделения вокализованных сегментов РС позволят обеспечить выделение моментов ударов пульса из живой речи в реальном масштабе времени. Однако для получения окончательного решения поставленной задачи потребуются дополнительные исследования в части правил обработки результатов измерений, необходимость которых возникает из-за относительно малой длинны вокализованных сегментов РС.

СПИСОК ЛИТЕРАТУРЫ

1. Голубинский А. Н. Выявление эмоционального состояния человека по речевому сигналу на основе вейвлет-анализа / А. Н. Голубинский // Вестник Воронежского института МВД России. - 2011. -№ 3. - С. 144-153.

2. Лукьяница А. А. Автоматическое определение изменений эмоционального состояния по речевому

сигналу / А. А. Лукьяница, А. Г. Шишкин // Речевые технологии. - 2019. - № 3. - С. 60-76.

3. Алимурадов А. К. Оценка психоэмоционального состояния человека на основе декомпозиции на эмпирические моды и кепстрального анализа речевых сигналов / А. К. Алимурадов, А. Ю. Тычков, П. П. Чураков // Вестник Пензенского государственного университета. - 2018. - № 2 (22). -С. 89-95.

4. Li Dong. Time series analysis of jitter in sustained vowels / Li Dong // ICPhS XVII, HongKong, 17-21 August. - 2011. - P. 603-606.

5. Басов О. О. Исследование характеристик джит-тера периода основного тона речевого сигнала / О. О. Басов, М. В. Носов, В. А. Шалагинов // Труды СПИИРАН. - 2014. - Вып. 32. - C. 27-44.

6. Полешенков Д. Д. Моделирование траектории изменения частоты основного тона / Д. Д. Полешенков, О. О. Басов // Цифровая обработка сигналов и ее применение - DSPA-2019 : докл. 21-й междунар. конф. - 2019. - Вып. XXI-1. - С. 233-237.

7. Физиология : учеб. для студентов лечебного и педиатрического факультетов / под ред. В. М. Смирнова, В. А. Правдивцева, Д. С. Свешникова. -5-е изд., испр. и доп. - М. : ООО «Издательство «Медицинское информационное агентство», 2017. -С. 234-281.

8. Кабанов Н. А. Анатомия человека : учеб. для СПО / Н. А. Кабанов. - М. : Юрайт, 2019. -С. 289-293.

9. Фант Г. Акустическая теория речеобразова-ния / Г. Фант ; пер. с англ. Л. А. Варшавского,

B. И. Медведева ; под ред. В. С. Григорьева. - М. : Наука, 1964. - 278 с.

10. Сорокин В. Н. Сегментация периода основного тона голосового источника / В. Н. Сорокин // Акустический журнал. - 2016. - Т. 62, № 2. -

C. 247-258.

11. Павлов А. Е. Исследование уровня тренированности организма спортсменов на диагностическом комплексе АПДК / А. Е. Павлов, В. В. Бороноев,

B. Д. Омпоков // Вестник БурГУ. - 2012. - Вып. 4. -

C. 208-212.