Исследование и разработка методов анализа и оценки качества синтезированной устной речи тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Русанова, Ольга Александровна

• Русанова, Ольга Александровна
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Русанова, Ольга Александровна

Введение

1 Алгоритмы синтеза устного речевого сигнала

1.1 .Классификация алгоритмов синтеза речевого сигнала

1.1.1. Синтез на основе естественной речи

1.1.2. Синтез на основе искусственной речи методы кодирования речевого сигнала)

1.1.2.1. Кодирование формы сигнала

1.1.2.2. Описание состояния речевого тракта

1.1.2.3. Описание спектра сигнала

1.1.3. Методы синтеза речевого сигнала

1.1.3.1. КЛП-синтез

1.1.3.2. Использование Марковских моделей

1.1.3.3. Использование нейросетей

1.1.3.4. Использование артикуляционной модели

1.2.Современные системы синтеза устной речи

1.3.Методы оценки синтезированного речевого сигнала 43 Выводы к главе

2 Методы оценки качества синтезируемой речи по группе критериев

2.1. Определение качества как совокупности критериев

2.2. Определение исчисляемых критериев оценки качества

2.3. Вычисление слабометризируемых критериев качества работы систем синтеза

2.4. Методы ранжирования синтезаторов по полученным критериям

Выводы к главе

3 Построение экспертной системы оценки качества синтезируемого речевого сигнала по совокупности выделенных критериев

3.1. Структура экспертной системы анализа речевого сигнала, синтезированного по произвольному тексту

3.2. Набор баз данных

3.3. Набор правил определения числа тестовых элементов для ошибок различного типа

3.4. Правила вычисления критериев оценки качества работы систем синтеза речевого сигнала

3.5. Правила определения класса качества синтезированной речи 77 Выводы к главе

4 Определение качества синтезированного речевого сигнала

4.1. Постановка эксперимента

4.2. Распределение по типам ошибок, указанных экспертами по прослушиванию

4.3. Статистическая обработка полученных результатов

4.4. Обнаружение отличий в качестве синтезированного сигнала

4.5. Определение класса качества синтезированной речи

4.6. Обоснование использования 50-бальной шкалы для измерения слабометризируемых величин

Выводы к главе

Введение диссертации (часть автореферата) на тему «Исследование и разработка методов анализа и оценки качества синтезированной устной речи»

Вопросы синтеза и распознавания речи человека компьютером становятся все более актуальными. Так как почти каждый говорит и понимает речь, развитие естественно-языковых систем позволит человеку без специальных навыков общаться с компьютером в любое время и в любом месте без дополнительного обучения, используя такие устройства, как мобильный телефон, получать доступ к информации или к управлению устройствами. Людям с ограниченными возможностями, например, с ослабленным зрением или потерявшим его, речевые технологии позволят пользоваться компьютером и интернетом без каких-либо ограничений.

Синтез речевого сигнала - одна из составляющих речевых технологий, куда так же входят вопросы распознавания речи, семантики, перевода. В настоящее время вопросом синтеза речи занимается большое число исследовательских групп, каждая из которых создает свое описание речевого сигнала, и в конечном итоге - программный продукт. На данный момент из программных пакетов, поддерживающих русский язык, наиболее широко распространены Microsoft Speech SDK, Lernout&Hauspie и разработка "Digalo" фирмы Elan Informatique.

Несмотря на большое число разработок, проблема синтеза речи до сих пор считается не решенной, так как качество синтеза только в отдельных случаях можно считать удовлетворительным и хорошим - синтезаторы говорят либо невнятно, либо с большим количеством ошибок, несмотря на все большую алгоритмизацию синтеза речи. Главным препятствием улучшения качества является невероятная сложность разрешения языковой неоднозначности при автоматическом анализе текста, который используется в синтезе устной речи для расстановки пауз; определения главноударного слова в предложении; задания интонации вопроса, восклицания; для правильной расстановки ударения в словах.

Перед синтезаторами могут стоять задачи, например, озвучивания произвольного текста (например, чтение электронной почты или какой-либо литературы), произнесение ограниченного набора фраз (справочная система о состоянии счета в сотовой компании), система оповещения состояния некоего агрегата и прочие.

Все это определяет актуальность исследований в области оценки качества синтезированного речевого сигнала.

Целью настоящей работы является анализ существующих способов синтеза речи, способов оценки синтезированного сигнала, разработка методики оценки качества речи, синтезированной любым из известных способов, и последующая программная реализация оценки качества. Алгоритмы должны обеспечивать как сравнительную оценку нескольких синтезаторов, так и оценку отдельно взятой системы синтеза. Основные задачи исследования:

• систематизация алгоритмов синтеза речевого сигнала,

• анализ методов оценки качества синтезированного речевого сигнала,

• методика анализа качества речи, синтезируемой по произвольному тексту,

• разработка классов качества синтезируемого речевого сигнала,

• оценка качества синтеза, осуществленного любым способом.

При реализации оценки качества синтезированного сигнала необходимо учесть субъективность сведений, получаемых от экспертов по прослушиванию, и корректно обработав информацию, представить ее наиболее объективно. Основные научные результаты:

• предложены критерии оценки качества синтезируемой речи;

• разработана модель качества синтезированного речевого сигнала;

• разработана методика оценки качества речевого сигнала, синтезированного по произвольному тексту;

• разработаны классы качества синтезированной речи.

Использование методики позволяет получить как сравнительную оценку работы нескольких синтезаторов, так и оценку отдельно взятой системы синтеза, а так же определить класс качества синтезированной речи. Методы исследования:

Полноту и обоснованность выводов диссертации обеспечивает использование методов: вероятностного подхода, эвристических правил и статистического анализа Краскела - Уоллиса и Манна - Уитни. Оценка работоспособности и эффективности разработанных алгоритмов осуществлялась путем численных экспериментов с использованием реальных данных. При разработке специального ПО использованы принципы структурного программирования, программирования БД, создания экспертных систем и организации множественного доступа по локальной или глобальной сети.

Научная новизна. В работе предложена оригинальная оценка качества синтезированной устной речи, позволяющая комплексно рассмотреть совокупность предложенных критериев оценки и вклад в качество каждого из них. Разработаны классы качества синтезированного сигнала.

Практическая ценность и реализация результатов работы

Практически значимыми являются созданные методы определения качества синтезированного речевого сигнала. Алгоритмы автоматизированной интерпретации данных реализованы в виде экспертной системы, которая гибко настраивается на широкий круг проблем - от оценки возможности применения того или иного синтезатора русской речи к синтезу текстов узкой направленности, до выявления разработчиком слабых мест его системы синтеза.

Публикации. По результатам диссертационной работы опубликовано 2 доклада на Международных конференциях (из них 1 электронная публикация [2]) [5], 2 депонированные статьи [3, 6] и 2 статьи в местной печати [1,4].

Личный вклад. Все основные теоретические и практические результаты получены непосредственно автором. В частности, предложен оригинальный метод оценки качества синтезированной речи. Метод основан на анализе совокупности критериев качества, значения которых вычисляются на основе метризируемых и слабометризируемых параметров. Разработана ЭС, позволяющая оценить качество работы систем синтеза устной речи. Разработаны классы качества, характеризующие работу синтезаторов.

Апробация работы. Основные положения и результаты докладывались на Международной конференции Диалог'2003 "Компьютерная лингвистика и интеллектуальные технологии", г. Москва (2003); X Юбилейной Международной научно-практической конференции студентов, аспирантов и молодых ученых, посвященной 400-летию г. Томска, г. Томск (2004); Межвузовских научных конференциях студентов, аспирантов и молодых ученых "Информатика и информационные технологии", г. Красноярск (2002, 2003).

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, приложений и содержит 107 страниц основного текста, 29 рисунков и 27 таблиц. Список литературы включает 99 наименований.

Заключение диссертации по теме «Теоретические основы информатики», Русанова, Ольга Александровна

ВЫВОДЫ К ГЛАВЕ 4

Для анализа разборчивости синтезируемой речи протестированы разработки фирм Lernout&Houspie "L&H", Elan Informatique "Digalo" и программа "MagicGoody" фирмы ПРОМТ. Для получения комплексной оценки, тестирование проводилось на текстах технической и художественной литературы.

Исследование показало, что системы синтеза допускали ошибки при расстановке ударений, чтении сокращений (аббревиатур, сокращений физических величин, математических символов и чтении числительных, записанных цифрами), орфографических фикций, заменяли буквы одного алфавита на буквы другого. К тому же "L&H" и "Digalo" затруднялись читать слова, написанные через "/". Все анализируемые синтезаторы некоторые слова произносили невнятно, в предложениях неверно расставлялись паузы, приписывалась неверная интонационная окраска. Проведенный анализ результатов эксперимента показал, что больше всего восприятию информации мешает неверная расстановка ударений, неверная расшифровка сокращений, а так же чтение орфографических фикций.

Согласно методике оценки качества синтезированного сигнала, предложенной в главе 2 настоящей работы, проведен анализ работы систем синтеза устной речи, который показал, что наилучшим образом с озвучиванием художественной литературы справляется MagicGoody, а технической -MagicGoody и Digalo.

На основании экспериментальных данных разработаны шесть классов качества работы синтезаторов. В результате исследования рассматриваемым системам синтеза присвоены соответствующие классы. Определено, что современные синтезаторы хорошо справляются с чтением художественной литературы (1-3 классы качества) и хуже - с чтением технической литературы (3, 4 класс качества).

ЗАКЛЮЧЕНИЕ

Анализ современных систем синтеза устной речи показал, что при создании синтезаторов устной речи используют как естественную, предварительно записанную речь, так и искусственные речеподобные звуки, полученные при кодировании речевого сигнала, описании состояния речевого тракта или спектра сигнала. Речевую волну кодируют ИКМ и ее модификациями, описывают упрощенными формами полуволны. Работу речевого тракта моделируют различными формами уравнения Вебстера. Спектр сигнала описывают при помощи БПФ, Вейвлет-преобразования и формантного описания. Используя компактное описание речевой волны и основываясь на такие методы синтеза речевого сигнала как КЛП-синтез, СММ и нейросети, строится большинство современных систем синтеза речи. Некоторые системы используют артикуляционную модель.

Несмотря на широкий спектр методов синтеза, должен существовать единый метод оценки качества полученного сигнала. В России для этих целей используют ГОСТы [70, 71], предназначенные для оценки количества слов, переданных без искажений по линиям связи. Показано, что такой подход не соответствует в полной мере вопросу оценки синтезированного сигнала, так как при этом упускаются важные моменты прочтения омонимов, аббревиатур, сокращений и так далее. Так же не учитывается, что ошибки разного рода по-разному влияют на восприятие информации.

Таким образом, для проведения более точной оценки качества синтезированного речевого сигнала необходимо:

• выявить основные типы ошибок, допускаемые системами синтеза речи;

• разработать систему оценки влияния ошибок на воспринимаемую информацию;

• разработать метод принятия решения о качестве синтезированною сигнала.

Оценка качества синтезаторов проводится на основании результатов их работы с тестовыми таблицами, которые соответствуют предполагаемым областям применения систем синтеза. Качество представлено как совокупность критериев оценки, основанных на параметрах оценки. Параметры и критерии оценки являются метризируемыми и слабометризируемыми. Значения параметров оценки качества: число ошибок X, допущенных при синтезе и вес этих ошибок W (сведения, полученные от экспертов) и число тестовых элементов X позволяют определить критерии оценки работы систем синтеза речевого сигнала: среднее число допущенных ошибок X, средний вес допущенных ошибок S, мера ошибочности К и уровень качества UK. Уровень качества и параметр оценки обнаружения ошибок Р являются функциями от X, при этом параметр Р служит для определения меры ошибочности К, которая так же является функцией и от W - веса типов ошибок. Показано, что наиболее полно работу синтезаторов характеризуют вес допущенных ошибок S и норма ошибочности К.

При тестировании двух и более систем возможно проведение сравнения результатов синтеза по вышеуказанным параметрам. При рассмотрении одной системы вывод о качестве работы можно сделать согласно таблице соответствия меры ошибочности классу качества синтезированного сигнала. Такая таблица составлена на основе данных, полученных по результатам экспериментов.

По предложенным формулам и алгоритмам обработки данных построена экспертная система оценки синтеза устной речи. Комбинация критериев Манна - Уитни и Краскела - Уоллиса позволяет проанализировать работу любого числа синтезаторов.

ЭС предоставляет возможность сбора данных по локальной или глобальной сети от экспертов по прослушиванию. Контроль над ЭС осуществляет супервизор, в функции которого так же входит обучение данной экспертной системы.

Разработана база знаний, используемая в ЭС, определен формат, состав и содержимое баз данных системы. Разработан набор правил, по которым система осуществляет вычисление критериев оценки качества X, S, UK, К и параметров качества, в том числе количество тестовых элементов для ошибок различных типов. Полученные значения позволяют ЭС проводить сравнительный анализ работы синтезаторов и делать вывод о классе качества синтезированной речи.

Для анализа разборчивости синтезируемой речи протестированы разработки фирм Lernout&Houspie "L&H", Elan Informatique "Digalo" и программа "MagicGoody" фирмы ПРОМТ. Для получения комплексной оценки, тестирование проводилось на текстах технической и художественной литературы.

Исследование показало, что системы синтеза допускали ошибки при расстановке ударений, чтении сокращений (аббревиатур, сокращений физических величин, математических символов и чтении числительных, записанных цифрами), орфографических фикций, заменяли буквы одного алфавита на буквы другого. К тому же "L&H" и "Digalo" затруднялись читать слова, написанные через "/". Все анализируемые синтезаторы некоторые слова произносили невнятно, часто в предложениях неверно расставлялись паузы, приписывалась неверная интонационная окраска. Проведенный анализ результатов эксперимента показал, что больше всего восприятию информации мешает неверная расстановка ударений, неверная расшифровка сокращений, а так же чтение орфографических фикций.

Согласно методике оценки качества синтезированного сигнала, предложенной в главе 2 настоящей работы, проведен анализ работы систем синтеза устной речи, который показал, что наилучшим образом с озвучиванием художественной литературы справляется MagicGoody, а технической -MagicGoody и Digalo.

На основании экспериментальных данных разработаны шесть классов качества работы синтезаторов. В результате исследования рассматриваемым системам синтеза присвоены соответствующие классы. Определено, что современные синтезаторы хорошо справляются с чтением художественной литературы (1-3 классы качества) и хуже - с чтением технической литературы (3, 4 класс качества).

Все результаты получены непосредственно мною.

По результатам диссертационной работы опубликовано 2 доклада на Международных конференциях (из них 1 электронная публикация [2]) [5], 2 депонированные статьи [3,6] и 2 статьи в местной печати [1,4].

Апробация работы. Основные положения и результаты докладывались на Международной конференции Диалог'2003 "Компьютерная лингвистика и интеллектуальные технологии", г. Москва (2003); X Юбилейной Международной научно-практической конференции студентов, аспирантов и молодых ученых, посвященной 400-летию г. Томска, г. Томск (2004); Межвузовских научных конференциях студентов, аспирантов и молодых ученых "Информатика и информационные технологии", г. Красноярск (2002, 2003).

Результаты диссертационной работы внедрены в учебный процесс по дисциплинам "Человеко-машинное взаимодействие" (специальность 22.04.00, вечерняя форма обучения), "Базы знаний и экспертные системы" (специальность 22.01.00) и "Искусственный интеллект" (специальность 22.01.00).

Подана заявка на получение патента "Метод оценки качества синтезированной устной речи".

Список литературы диссертационного исследования кандидат технических наук Русанова, Ольга Александровна, 2004 год

1. Сапожников, М.А. Речевой сигнал в кибернетике и связи / М. А. Сапожников. М.: Связь, 1963. 452 с.

2. Справочник: Искусственный интеллект, под редакцией Э. В. Попова, 1990, в 2х томах

3. Веденяпина, О. А. Лингвистические системы синтеза устной речи // О А. Веденяпина. Информатика и информационные технологии: Материалы межвуз.науч.конф./Под.ред. Шитова Ю.А. Красноярск: ИПЦ КГТУ, 2002. С. 12-19.

4. Зиновьева, Н.В. Программный синтез русской речи (синтезатор "АГАФОН")// Н. В. Зиновьева, О. Ф. Кривнова, Л. М. Захаров Труды Международного семинара по компьютерной лингвистике и ее приложениям "Диалог,95". Казань, 1995.

5. Зиндер Л. Р. Общая фонетика. М.: Высшая школа, 1979 г. 312 с.

6. Бондарко Л. В. Слоговая структура речи и дифференцальные признаки фонем. Автореф. Дис. Док. Фил. Наук. Ленинград, 1969, 32 с.

7. Материалы сайта http://isabase.philol.msu.ru/SpeechGroup/9. http://www.istrasoft.ru

8. Косарев, Ю. А. Естественная форма диалога с ЭВМ. Ю. А. Косарев, Ленинград, "Машиностроение", 1989, 143 с.

9. Стретт Дж. Теория звука Т. 1. М.: ГИТТЛ, 1955. 503 с.

10. Фант, Г. Акустическая теория речеобразования / Г.Фант. М.: Наука, 1964. 284 с.

11. Фланаган, Дж. Анализ, синтез и восприятие речи / Дж. Фланаган. М.: Связь, 1968, 392 с.

12. Н.Сорокин, В. Н. Теория речеобразования / В.Н.Сорокин. М.: Радио и связь, 1985. 312 с., ил.

13. Сорокин, В. Н. К теории речеобразования / Сорокин В. Н. В кн.: Речевое общение в автоматизированных системах. М.: Наука, 1975, С. 103-127.

14. Константинов, Б. П. Гидродинамическое звукообразование и распределение звука в ограниченной среде / Б. П. Константинов. JL: Наука, 1974, 142 с.

15. Мотоока, Компьютеры на СБИС, 2 тома

16. Ney, Н. Perspectives of Speech Technologies Research Highlighted in Eu-rospeech'99 // H. Ney Proc. of the 6th European Conference on Speech, Communication and Technology, September 5-9, 1999, Budapest, Hungary. 1999. Vol.1.

17. Бойков, И. В. Быстрые преобразования Фурье и Гильберта и их применение: Уч. пособие/ И. В. Бойков. Пенз. Политехи. Ин-т,- Пенза, 1984.-96 с

18. Залманзан, J1. А. Преобразование Фурье, Уолша, Хаара и их применение в управлении, связи и других областях / Л. А. Залманзан. М.: Наука, Гл. ред.физ.-мат.лит, 1989. 496 с.

19. Егоров, А. И. О некоторых свойствах системы речевой коммуникации // А. И. Егоров, В. В. Дубровский Труды международного семинара по компьютерной лингвистике и ее приложениям "Диалог'97". Москва, 1997.

20. Чистович, Л. А. Физиология речи: Восприятие речи человеком / Л. А. Чистович, А. В. Венцов, М. П. Гранстрем и др. Л.: Наука, 1976 г. 387 с.

21. Жинкин Н.И. Механизмы речи. М.: Акад. пед. наук РСФСР, 1958.-370с24. материалы сайта www.ectaco.com/

22. Андерсон, Т., Статистический анализ временных рядов / Т. Андерсон: Пер. с англ. М.: Мир, 1976. 776 с.

23. Маркел, Д. Д. Линейное предсказание речи / Д. Д. Маркел, А. X. Грей: пер. с англ. М.: Связь, 1980, 308 с.

24. Кемени, Дж. Конечные цепи Маркова / Дж. Кемени, Дж. Снелл. М. Наука, 1970, 450 с.

25. Доррер, Г. А. Моделирование вычислительных систем / Г. А. Доррер. Учебное пособие для студентов направлений 552800 и 654600. Красноярск, КГТУ, 2003 г. 186 с.

26. Levinson, S. E. Continiously variable duration hidden Markov models for automatic speech recognition / S. E. Levinson Computer Speech and Language, 1986, 1:29-45.

27. Morgan, N. Speech recognition using on-line estimation of speaking rate / N. Morgan, E. Fosler, N. Mirghafori In Proc.Eurospeech, volume 4, 1997, p. 2079-2082.

28. Бовбель, E. И. Статистические методы распознавания речи: скрытые марковские модели // Е. И. Бовбель, И. Э. Хейдоров. Зарубежная радиоэлектроника. Успехи современной радиоэлектроники, № 3, 1998. С. 45-65.

29. Левинсон, С. Е. Структурные методы автоматического распознавания речи // ТИИЭР- Т. 73. -№11, 1985. С. 78-91.

30. Мотель, В. В. Скрытые Марковские модели в структурном анализе сигналов / В. В.Мотель, И. Б. Мучник. М.: Физматлит, 1999. 352 с.

31. Lippman, R. P. Review of neural networks for speech recognition // R. P. Lippman. Neural Computation. Vol.1. No. 1, 1989. P. 1-38.

32. Bourland, H. Links between Markov models and multilayer perceptrons // H. Bourland, C. J. Wellenkens. IEEE Trans. Patt. Anal, and Mach. Intell. Vol.12, No. 6, 1990. P. 1167-1178.

33. Комашинский, В. И. Нейронные сети и их применение в системах управления и связи / В. И. Комашинский, Д. А. Смирнов. М.: Горячая линия -Телеком, 2003,94 с.

34. Wolfgang Wahlster, Германский Исследовательский центр Искусственного интеллекта, Гамбург, http: // www.dfki.de/- wahlster

35. Сорокин, В. Н. Динамические модели артикуляции / В. Н. Сорокин. Биофизика, 1972, т. 27, № 7, С. 674-680.

36. Чистович, Л. А. Речь. Артикуляция и воприятие. / Л. А. Чистович, В. А. Кожевников и др. М.: Наука, 1965. 240 с.

37. Хилл, А. Механика мышечного сокращения / А. Хилл. М.: Мир, 1972. 183 с.

38. Сорокин, В. Н. Идентификация системы управления движениями нижней челюсти / В. Н. Сорокин, Т. Гей, У. Эван. Физиология человека, 1981, т. 7, №4, С. 743-751.

39. Сорокин, В. Н. Механика движений языка / В. Н. Сорокин. В кн. Описание и распознавание объектов в системах искусственного интеллекта. М.: Наука, 1980. С. 42-71.

40. Сорокин, В. Н. Математические модели артикуляции гласных / В. Н. Сорокин Биофизика, 1973, т. 28, № 6, С. 1100-1104.

41. Михайлов, В. Г. Измерение параметров речи / В. Г. Михайлов, Л. В. Зла-тоустова. под ред М. А. Сапожкова. М.: Радио и связь, 1987 г.47. http://www.microsoft.com/speech/

42. Christophe d'Alessandro & Jean-Sylvain Li6nard, LIMSI-CNRS, Orsay, France, http://cslu.cse.ogi.edu/HLTsurvey/ch5node4.html

43. Handbook of standards and resources for spoken language systems. Mouton de Gruyter, 1997

44. Покровский, H. Б. Расчет и измерение разборчивости речи / Н. Б. Покровский. М.: Связь, 1962, 391 с.

45. Гост Р 50840-95. Передача речи по трактам связи. Методы оценки качества, разборчивости и узнаваемости. М.: Госстандарт России, 1996.

46. Гост 16600-72. Передача речи по трактам радиотелефонной связи. Требования к разборчивости речи и методы артикуляционных измерений. М.: Госстандарт России, 1973.

47. Международный стандарт ИСО 8402:1994 (E/F/R). Управление качеством и обеспечение качества Словарь. ИСО, 1994.

48. Русанова, О. А. Особенности оценки качества работы систем синтеза речевых сообщений / О. А. Русанова. Краснояр. гос. техн. ун-т. Мин-ва образования РФ. Красноярск, 2003. 10 с. (Рук. деп. в ВИНИТИ №557-В2003).

49. Нейман, Ю.М. Введение в теорию моделирования и параметризации педагогических тестов //Ю.М. Нейман, В.А. Хлебников М.: Москва, 2000. 168 с.

50. Белешев, С. Д. Математико-статистические методы экспертных оценок / С. Д. Белешев, Ф. Г. Гурвич. М.: Статистика, 1980 г.

51. Шмерлинг, Д. С. Статистические методы анализа экспертных оценок / Д. С. Шмерлинг. М.: Наука, 1977 г.

52. Литвак, Б. Г. Экспертная информация. Методы получения и анализа / Б. Г. Литвак. М.: Радио и связь, 1982, 184 с.

53. Розанов, Ю. А. Теория вероятностей, случайные процессы и математическая статистика / Ю. А. Розанов. М.: Наука, 1989. 312 с.

54. Лэннинг, Дж. X. Случайные процессы в задачах автоматического управления / Дж. X. Лэннинг, Р. Г. Бэттин. Пер. с англ. М: ИЛ, 1958. 387 с.

55. Лоэв, М. Теория вероятностей / М. Лоэв. Пер. с англ. М.: ИЛ, 1962. 720 с.

56. Рао, С.Р. Линейные статистические методы и их применение. Под. Ред. Ю.В. Линника М.: Наука, 1968. 547 с.

57. И. И.Вайнштейн, Высшая математика. Теория вероятностей и математическая статистика: Учеб.пособие/ Вайнштейн И. И., И. М. Федорова, Т. А.Ширяева.

58. Розанов, Ю. А. Лекции по теории вероятностей: учебное пособие для ВТУЗов / Ю. А. Розанов М.: Наука, 1986. 120 с.

59. Бендат, Дж. Прикладной анализ случайных данных / Дж. Бендат, А. Пир-сол. Пер. с англ. М.: Мир, 1989. 540 е., ил.

60. Холлендер, М. Непараметрические методы статистики/ М. Холлендер, Д. Вулф. Пер. с англ. Шмерлинга Д. С.; под ред. Адлера Ю. П. и Тюрина Ю. Н. М.: Финансы и статистика, 1983. 518 с.

61. Боровиков, В. П. Популярное введение в программу STATISTICA. В. П. Боровиков Компьютер Пресс 1998.

62. Рунион, Р. Справочник по непараметрической статистике М.: Финансы и статистика, 1982. 198 с.

63. Носенко, И. А. Начала статистики для лингвистов / И. А. Носенко. М.: Высшая школа, 1981, 157 с.

64. Тюрин, Ю. Н. Непараметрические методы статистики / Ю. Н. Тюрин М.: Знание, 1979, 64 с.

65. Сидоренко, Е. В., Методы математической обработки в психологии / Е. В. Сидоренко. С-Пб: Речь, 2002. 350 е.

66. Хеттмансперчер, Т. Статистические выводы, основанные на рангах / Т. Хеттмансперчер. Пер. с англ. Д. С. Шмерлинга. М.: Финансы и статистика, 1987. 333 с.

67. Плохинский, Н. А. Дисперсионный анализ/ Н. А. Плохинский. под ред. чл-корр. АН СССР Дубинина Н.П. Новосибирск:Сиб. Отд. АН СССР, 1960, 124 с.

68. Green J., DOlivera М. Learning to Use Statistical Tests in Psyhology: a Student's Guide. Milton Keynes Philadelphia, Open University Press, 1989. 180 p.

69. Kruskal, W. H. (1952) Use of ranks in one criterion variance analysis // W. H. Kruskal, W. A. Wallis. (J. Am. Stat. Assoc.-47-583-621

70. Гаек, Я. Теория ранговых критериев / Я. Гаек, 3. Шидак. Наука, 1971, 376

71. Iman R. 1., Davenport J. М. Approcximations to the exact distribution at the Kruskel-Wallis test statistic. CS, 1976, 1335-1348.

72. Перцов, H. В. Критический взгляд на некоторые современные семантические концепции // Н. В. Перцов. Труды международного семинара по компьютерной лингвистике и ее приложениям, 95 г.

73. Толковый словарь русского языка: в 4 т. под ред. Д. Н. Ушакова, М.,с.1940.660074, г Красноярск-74, ул. Киренского, 26

74. МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ КРАСНОЯРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ КГТУтел. [phone] [phone]телетайп 288353 СТРАУС ФАКС- [phone]

75. E-mail. root(№kj;tu ruinnct ruГо внедрении результатов кандидатской диссертационной работы Русановой Ольги Александровны

76. Верней 2 1 вернОн 1 верней

77. Хогварцу 1 1 ХогваАрцураньше 1 1 рааньше1. РОН 1 1 РН 1. Верноном 1 1 ВернОном глазки 1 1 глазкИ руки 1 1 руки 1. ЭТОТ 1 1 ЭТО

78. Средняя 1 1 1, дьсразу 1 1 сраазугорда 1 1 гОрда гербом 1 1 гербОм забрал 1 1 забраалчерно-белой 1 чернО-белой 1