Неявная регуляризация функций экспоненциального типа в задачах классификации тема диссертации и автореферата по ВАК РФ 05.13.17, доктор наук Куликовских Илона Марковна

• Куликовских Илона Марковна
• доктор наук
• 2020

Оглавление диссертации доктор наук Куликовских Илона Марковна

Содержание

Введение

1 Постановка задачи исследования

1.1 Неявная регуляризация функций экспоненциального типа

1.1.1 Анализ сходимости метода градиентного спуска для функций экспоненциального типа

1.1.2 Адаптивные методы повышения скорости сходимости и устойчивости градиентных методов

1.1.3 Эмпирические методы повышения сходимости и устойчивости градиентных методов

1.2 Обобщение логистического уравнения

1.2.1 Непрерывные модели роста

1.2.2 Дискретные модели роста

Выводы и результаты

2 Неявная регуляризация функций экспоненциального типа с

переменными параметрами

2.1 Анализ скорости сходимости и устойчивости функций экспоненциального типа с переменными параметрами

2.1.1 Функции экспоненциального типа с переменными параметрами

2.1.2 Анализ скорости сходимости градиентных методов для функций экспоненциального типа с переменными параметрами

2.1.3 Анализ устойчивости градиентных методов для функций экспоненциального типа с переменными параметрами

2.2 Применение неявной регуляризации функций экспоненциального типа с переменными параметрами

Выводы и результаты

3 Метод неявной регуляризации функций экспоненциального типа с переменными параметрами в теории фильтрации

3.1 Определение фильтров Лагерра и Мейкснера на основе функций экспоненциального типа с переменными параметрами

3.2 Понижение сложности рекурсивных фильтров Лагерра и Мейкс-нера

3.3 Неявная регуляризация функций экспоненциального типа с переменными параметрами при решении задач фильтрации

Выводы и результаты

4 Метод неявной регуляризации функций экспоненциального типа с переменными параметрами в теории тестирования

4.1 Определение модели Бартона при индивидуальном и групповом тестировании на основе функций экспоненциального типа

с переменными параметрами

4.2 Понижение сложности модели Бартона при индивидуальном и групповом тестировании

4.3 Неявная регуляризация функций экспоненциального типа с переменными параметрами при решении задач тестирования

Выводы и результаты

5 Программные реализации моделей на основе функций экспоненциального типа с переменными параметрами

5.1 Описание моделей и их программных реализаций

5.1.1 Функциональное описание моделей

5.1.2 Алгоритмическое описание моделей

5.1.3 Модели обучения

5.2 Апробация при решении прикладных задач

5.2.1 Программные реализации

5.2.2 Апробация моделей и их программных реализаций

Выводы и результаты

Заключение

Список использованных источников

Приложение А. Итерационное и однократное представление логистического отображения

Приложение Б. Инструкции для проведения индивидуального и группового тестирования

Приложение В. Графическое представление весов на нейронах скрытого слоя

Приложение Г. Графическое представление сходимости градиентных методов

Введение диссертации (часть автореферата) на тему «Неявная регуляризация функций экспоненциального типа в задачах классификации»

Введение

Теория обучаемых систем предлагает эффективные алгоритмы анализа информации, которые задают направление развития во многих отраслях. Широкое применение данного класса алгоритмов объясняется их способностью выявлять сложные структуры в исходных наборах данных через построение взаимосвязи между последовательностью обучающих моделей и множеством уровней представления информации. Повышение качества алгоритмов обучения является фундаментальной задачей данной теории.

Основу теории обучаемых систем заложили В.Н. Вапник и А.Я. Чер-воненкис в конце 60-х - начале 70-х годов в предложенной статистической теории восстановления зависимостей по эмпирическим данным. Согласно их исследованиям, построение модели восстанавливаемой зависимости в виде оптимального параметрического семейства алгоритмов, допускающих наименьшее число ошибок на обучающей выборке, может также учитывать погрешность измерений при формировании данной выборки. Это приводит к понижению качества алгоритма вне обучающей выборки и низкой обобщающей способности. Таким образом, был сделан вывод об оптимальной сложности модели с наилучшей обобщающей способностью, которая определяется величиной ошибки на неизвестной контрольной выборке.

Предложенные В.Н. Вапником и А.Я. Червоненкисом в рамках теории оценки оказались завышенными, что требовало чрезмерно длинных выборок и сложных моделей. Такую особенность связывают с тем, что данные оценки не учитывают процесс поиска решения или метод обучения, который потенциально снижает сложность модели, формируя эффективную сложность подмножества алгоритмов. Как следствие, возникло большое множество исследований, направленных на уточнение оценок. В работах академика РАН В.Л. Матросова показано, что при выборе метода обучения обеспечивается корректное распознавание заданной обучающей выборки при использовании подмножества алгоритмов ограниченной емкости, лежащего в алгебраическом расширении семейства алгоритмов вычисления оценок. Еще одно направление связано с построением композиций алгоритмов, плохо восстанавливающих искомую зависимость по отдельности, с помощью корректирующей операции. Теория алгоритмических композиций была разработана в алгебраическом подходе к построению корректных алгоритмов академиком РАН Ю.И. Журавлевым и нашла свое развитие в работах его учеников. Р. Баг^е^ показал, что эффективная сложность композиции алгоритмов равна средней взвешенной сложности отдельных алгоритмов, т.е. сглаживая про-

гнозы, построенная композиция не увеличивает результирующую сложность. Полученные таким образом оценки были завышены, хотя оказались точнее оценок Вапника-Червоненкиса, что натолкнуло Y. Freund и R. Schapire на создание улучшенного композиционного метода - бустинга, в котором базовые алгоритмы строятся последовательно, минимизируя ошибки, допущенные на предыдущих алгоритмах. Так как такой подход позволяет улучшать качество обучения посредством увеличения количества алгоритмов в композиции, исследования P. Bartlett, Y. Freund, R. Schapire существенным образом повлияли на представление о соотношении обобщающей способности и сложности алгоритмов, акцентируя внимание на первостепенной важности метода обучения, на основе которого по обучающей выборке строится алгоритм. В комбинаторном подходе к оценке качества обучаемых алгоритмов, предложенном К.В. Воронцовым для уточнения статистической теории Вапника-Червоненкиса, явным образом вводится понятие метода обучения. Данное направление обращает внимание на необходимость привлечения априорной информации для построения более точных оценок. Исследованию соотношения обучающей выборки (локальной информации) и априорных ограничений (универсальной информации) посвящена теория универсальных и локальных ограничений академика РАН К.В. Рудакова.

В своих недавних исследованиях по оценке качества моделей обучения с избыточным количеством параметров, B. Neyshabur и др. вводят понятие неявного смещения, задаваемого градиентным методом обучения [311]. Неявная регуляризация, вводимая таким смещением, рассматривается как разновидность метода обучения, где обобщающая способность, в отсутствии явной регуляризации и ограничений на сложность модели, продолжает повышаться. В результате исследования различных функций экспоненциального типа было выявлено, что метод градиентного спуска как в детерминированной, так и в стохастической постановке задачи в условиях идеальной разделимости классов сходится в направлении оптимальной гиперплоскости, максимизирующей зазор между классами с нормой L2 [377]. Однако скорость сходимости к оптимальному решению с фиксированным шагом снижается до логарифмической, тогда как скорость сходимости самого метода является линейной.

Наиболее распространенным способом повышения скорости сходимости при неявной регуляризации является использование адаптивного градиентного шага. Как правило, такой подход предполагает модификацию градиентного метода, не гарантирующую оценку границы погрешности, эквивалентную оценке стандартного градиентного метода. Кроме того, применение адаптивных градиентных методов значительно повышает смещенность результирующих оценок, что является одной из наиболее существенных проблем, препятствующих широкому внедрению обучаемых систем в отраслях, связанных с

жизнью и деятельностью человека, и требующих постоянного контроля со стороны экспертов.

В работах T. Poggio [326] и его учеников рассмотрены различные виды устойчивости в контексте моделей с избыточным количеством параметров. В частности, отмечается, что устойчивость глобального минимума по отношению к локальным в пространстве параметров модели, т.е. сокращение количества локальных пиков на поверхности функции потерь, повышает устойчивость модели к выбросам в пространстве исходной выборки наблюдений, наличие которых оказывает влияние на смещенность оценок.

В данной работе предлагаются функции экспоненциального типа с переменными параметрами, которые учитывают их скорость роста и величину асимптот. Неявная регуляризация таких функций гарантирует границу погрешности, эквивалентную границе метода градиентного спуска, более высокую скорость сходимости и менее смещенные оценки, так как регуляризация выполняется в пространстве параметров, задающих экспоненциальный хвост, и не зависит от параметров метода оптимизации, которые вносят в результирующие оценки численные погрешности. Преимуществом предлагаемого подхода также является тот факт, что предлагаемые функции имеют физический смысл - они построены на основе обобщения логистического уравнения [419], впервые предложенного для описания динамики роста популяций и нашедшего широкое применение в различных технических и социальных средах. В рамках данного исследования рассматривается применимость предложенных моделей обучения в более широком контексте обучения машин и людей [420], а именно, при задании частных параметров функций экспоненциального типа в теории фильтрации при построении рекурсивных фильтров Лагерра и Мейкснера и в теории тестирования при построении модели Бартона (4PL IRT, 4-Parameter Logistic Item Response Theory) [88,94].

Актуальность работы подтверждается соответствием Перечню критических технологий РФ от 7 июля 2011 г. № 899: «Нано-, био-, информационные, когнитивные технологии»(п. 8) и направлению из Стратегии научно-технологического развития Российской Федерации от 01.12.2016 № 642: «Переход к передовым цифровым, интеллектуальным производственным технологиям, роботизированным системам, к новым материалам и способам конструирования, создание систем обработки больших объемов данных, машинного обучения и искусственного интеллекта» (п. 1).

Работа выполнена при государственной поддержке гранта Президента РФ (№ МК-6218.2018.9), гранта РФФИ (№ 18-37-00219), гранта Минобрнау-ки РФ (№ 074-U01), проекта программы СТАРТ-1-18 (№ С1-51885), проекта DATACROSS Центра Превосходства, финансируемого Правительством Хорватии и Европейским Союзом через Европейский фонд регионального разви-

тия - Операционная программа конкурентоспособности и сплочения (КК.01.1. 1.01.0009), а также при проведении научно-исследовательских работ в рамках стратегической академической единицы «Нанофотоника, перспективные технологии зондирования Земли и интеллектуальные геоинформационные системы»(№ 05в-Р008-035, № 05в-Р001-403).

В диссертационной работе разработаны теоретические положения, совокупность которых можно квалифицировать как новые научно обоснованные технические решения, внедрение которых вносит значительный вклад в развитие страны.

Объектом исследования в диссертационной работе являются функции экспоненциального типа.

Предметом исследования в диссертационной работе является теория обучаемых систем.

Целью диссертационной работы является повышение эффективности неявной регуляризации функций экспоненциального типа в задачах классификации.

Задачи диссертационной работы:

1. Провести анализ основных подходов к повышению эффективности градиентных методов для функций экспоненциального типа.

2. Определить функции экспоненциального типа с переменными параметрами.

3. Повысить скорость сходимости и устойчивость градиентных методов для функций экспоненциального типа с переменными параметрами.

4. Понизить сложность моделей в теории фильтрации и теории тестирования за счет применения неявной регуляризации функций экспоненциального типа с переменными параметрами.

5. Провести экспериментальные исследования для анализа функций экспоненциального типа с переменными параметрами в задачах классификации.

6. Предложить программные реализации моделей, построенных на основе функций экспоненциального типа с переменными параметрами.

7. Провести апробацию предложенных моделей и их программных реализаций при решении прикладных задач.

Методы, используемые в диссертации, включают градиентные методы построения моделей обучения, методы регуляризации, методы теории рекурсивной фильтрации, методы теории современного тестирования, а также методы, используемые для описания динамики роста популяций.

Научная новизна работы:

1. Введено определение функции экспоненциального типа с переменными параметрами, которое, в отличие от известных, учитывает ее скорость роста и величину асимптот.

2. Повышена скорость сходимости и устойчивость градиентных методов за счет неявной регуляризации функций экспоненциального типа с переменными параметрами.

3. Разработан метод неявной регуляризации моделей рекурсивных фильтров Лагерра и Мейкснера, сводящий соответствующий коэффициент фильтра к нулю.

4. Разработан метод неявной регуляризации модели Бартона при индивидуальном и групповом тестировании, замещающий явные вероятностные параметры модели на их нечеткие определения.

Практическая значимость работы:

1. Снижены вычислительные затраты на построение моделей на основе функций экспоненциального типа с переменными параметрами за счет гарантированной более высокой скорости сходимости градиентных методов.

2. Снижена смещенность оценок моделей на основе функций экспоненциального типа с переменными параметрами за счет более высокой устойчивости градиентных методов.

3. Снижена сложность рекурсивных фильтров Лагерра и Мейкснера, построенных на основе функций экспоненциального типа с переменными параметрами, за счет сведения соответствующего коэффициента фильтра к нулю.

4. Снижена сложность модели Бартона при индивидуальном и групповом тестировании, построенной на основе функций экспоненциального типа с переменными параметрами, за счет замещения явных вероятностных параметров модели на их нечеткие определения.

5. Получены результаты экспериментальных исследований по анализу неявной регуляризации на основе функций экспоненциального типа с переменными параметрами в задачах классификации.

6. Предложены программные реализации моделей, построенных на основе функций экспоненциального типа с переменными параметрами, включающие их функциональное и алгоритмическое описание.

7. Проведена апробация предложенных моделей и их программных реализаций при решении задач обработки реальных данных.

Методы неявной регуляризации функций экспоненциального типа с переменными параметрами и их программные реализации внедрены в АО «Самарский электромеханический завод»(г. Самара) при создании платформы для сбора информации и формирования контингента и АО «РКЦ «Прогресс»^. Самара) при обработке результатов испытаний. Результаты применения неявной регуляризации функций экспоненциального типа с переменными параметрами для понижения сложности индивидуального и группового тестирования внедрены в ООО «ТимКемистри»(г. Самара) при анализе реальных проектов для выявления характеристик, указывающих на особенности членов команды и оптимально сконструированное взаимодействие между ними. Разработанные модели, алгоритмы и их программные реализации для решения прикладных задач используются в учебном процессе ФГАОУ ВО «Самарский национальный исследовательский университет имени академика С.П. Королева»(г. Самара) при подготовке специалистов по направлению «Информатика и вычислительная техника»(коды 09.06.01 и 09.04.01). Предложенные научно обоснованные технические решения приведены в актах внедрения. Акты внедрения прилагаются. Результаты, выносимые на защиту:

1. Введено определение функции экспоненциального типа с переменными параметрами, которое, в отличие от известных, учитывают ее скорость роста и величину асимптот.

2. Повышена эффективность неявной регуляризации функций экспоненциального типа в задачах классификации, которая в отличие от ранее предложенных, обеспечивает более высокую скорость сходимости и устойчивость градиентных методов.

3. Снижены вычислительные затраты на неявную регуляризацию функций экспоненциального типа с переменными параметрами на порядок.

4. Снижена смещенность оценок моделей при неявную регуляризацию функций экспоненциального типа с переменными параметрами в 5 раз.

5. Разработан метод неявной регуляризации моделей рекурсивных фильтров Лагерра и Мейкснера на основе функции экспоненциального типа с переменными параметрами.

6. Разработан метод неявной регуляризации модели Бартона при индивидуальном и групповом тестировании на основе функции экспоненциального типа с переменными параметрами.

7. Предложены программные реализации моделей, построенных на основе функций экспоненциального типа с переменными параметрами, включающие их функциональное и алгоритмическое описание.

Область исследования согласно паспорту специальности 05.13.17 -Теоретические основы информатики:

- исследование и разработка средств представления знаний. Разработка интегрированных средств представления знаний, средств представления знаний, отражающих динамику процессов, концептуальных и семиотических моделей предметных областей (п. 4);

- разработка и исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных и их извлечениях (п. 6);

- разработка методов распознавания образов, фильтрации, распознавания и синтеза решающих правил. Моделирование формирования эмпирического знания (п. 7);

- исследование и когнитивное моделирование интеллекта, включая моделирование поведения, моделирование рассуждений различных типов, моделирование образного мышления (п. 8);

- применение бионических принципов, методов и моделей в информационных технологиях (п. 13).

Согласно формуле специальности «Теоретические основы информатики», к ней относятся, в числе прочего, «... исследования методов преобразования информации в данные и знания; создание и исследование. . . моделей данных и знаний, методов работы со знаниями, методов машинного обучения и обнаружения новых знаний. . . ; исследования принципов создания и функционирования аппаратных и программных средств автоматизации указанных процессов».

Личный вклад. В выполненных единолично работах опубликованы результаты, выносимые на защиту в данной диссертации. В выполненных с соавторами работах опубликованы частные решения, отражающие примеры применения результатов диссертации.

Степень достоверности и апробация результатов. Достоверность результатов обеспечивается широкой экспериментальной базой и строгим теоретическим обоснованием справедливости предложенных результатов. Проведен сравнительный анализ разработанных методов с наиболее эффективными известными подходами на основе объективных критериев качества.

Результаты, полученные в диссертации, представлялись на Международном конгрессе студентов, аспирантов и молодых ученых «Перспектива-2007», Нальчик, Кабардино-Балкария (2007); Всероссийской научной конференции «Инновационные технологии в управлении, образовании, промышленности»

«АСТИНТЕХ-2007», Астрахань (2007); Всероссийской научно-технической конференции студентов, молодых ученых и специалистов «Биомедсистемы -2007»(Биотехнические, медицинские и экологические системы и комплексы), Рязань (2007); Международных научно-технических конференциях «Радиотехника и связь», Саратов (2007, 2009); Международной открытой конференции «Современные проблемы информатизации в анализе и синтезе технологических и программно-телекоммуникационных систем (СПИ-2008)», Воронеж (2008); Международной молодежной научной конференции «XXXIV ГА-ГАРИНСКИЕ ЧТЕНИЯ», Москва (2008); Всероссийских научных конференциях с международным участием «Математическое моделирование и краевые задачи», Самара (2008, 2011); Международной научно-технической конференции «Методы, средства и технологии получения и обработки измерительной информации (ИЗМЕРЕНИЯ-2008)», Пенза (2008); Международной конференции «Идентификация, измерение характеристик и имитация случайных сигналов (ИИИ-2009)», Новосибирск (2009); Материалы научно - практической конференции «Образование - инвестиции в успех», Алматы, Казахстан (2009); Российской школе-семинаре аспирантов, студентов и молодых ученых «Информатика, моделирование, автоматизация проектирования», Ульяновск (2009); Международной научно-практической конференции «Аналитические и численные методы моделирования естественнонаучных и социальных проблем», Пенза (2009, 2017); Международной научно-технической конференции «Проблемы автоматизации и управления в технических системах», Пенза (2011); Всероссийских научно-практических конференциях «Компьютерные технологии в науке, практике и образовании», Самара (2005, 2006, 2007, 2008, 2009, 2012); Международных научно-технических конференциях «Перспективные информационные технологии в научных исследованиях, проектировании и обучении», Самара (2006, 2010, 2012, 2013, 2014, 2016, 2017, 2018, 2019); 8th International Conference on Applied Mathema-tics and Scientific Computing, Sibenik, Croatia (2013); 7th Computer Science and Electronic Engineering Conference, Colchester, UK (2015); Международной конференции и молодежной школе «Информационные технологии и нанотехно-логии», Самара (2017, 2018, 2019), 4th International Workshop on Data Science, Zagreb, Croatia (2019), 22nd International Conference on Discovery Science, Split, Croatia (2019).

Публикации. Результаты диссертации опубликованы в 106 работах, из них: 29 публикаций в журналах, рекомендованных ВАК, среди них 12 публикаций входят в базы WoS/Scopus, а также 2 монографии, 3 учебных пособия и 14 свидетельств о государственной регистрации программ для ЭВМ.

Объем и структура диссертации. Диссертация состоит из введения, пяти глав, заключения и четырех приложений. Общий объем диссертации

242 страницы. Диссертация содержит 28 таблиц, 113 рисунков и список литературы из 459 наименований.

Автор выражает благодарность за предоставление условий для проведения исследований и обсуждение результатов диссертационной работы в рамках проекта DATACROSS Центра Превосходства Prof., Dr. Sc. Sven Loncaric, Prof., Dr. Sc. Tomislav Smuc, Prof., Dr. Sc. Tarzan LegoviC и Dr. Sc. Tomislav LipiC во время нахождения на постдокторском курсе в Laboratory for Machine Learning and Knowledge Representation, Ruder Boskovic Institute и Faculty of Electrical Engineering and Computing, University of Zagreb (2018-2019).

1 Постановка задачи исследования

1.1 Неявная регуляризация функций экспоненциального типа

В недоопределенных задачах функция потерь на обучающей выборке может иметь множество решений. При этом различные алгоритмы их поиска вносят разный уровень так называемого «неявного» смещения, что влияет на обобщающую способность алгоритма [311]. Неявная регуляризация, вводимая таким смещением, играет особую роль в алгоритмах глубинного обучения, где обобщающая способность не контролируется введением явной регуляризации [14,15,95,320,337,459] и ограничений на сложность модели [188,310,457].

При исследовании эффекта неявной регуляризации при обучении более простых моделей, бало показано, что метод градиентного спуска для нерегу-ляризованной модели логистической регрессии в случае линейной разделимости сходится в направлении гиперплоскости, максимизирующей зазор с нормой L2 [219,376,437]. Данное решение совпадает с решением метода опорных векторов с жестким зазором (hard-margin SVM) и явной L2-регуляризацией. Однако, скорость сходимости к оптимальному решению с фиксированным шагом значительно ниже: O( 1/lnt) в сравнении со скоростью сходимости самого метода O(1/t). Это означает, что положение разделяющей гиперплоскости, а, следовательно, и обобщающая способность логистической регрессии продолжает изменяться даже когда погрешность на обучении приблизилась к нулю, а погрешность на валидации начала возрастать.

Одним из способов повышения скорости сходимости при неявной регуляризации является использование адаптивного градиентного шага [87,147, 154,233,236,259,360,387,435], что, как правило, предполагает модификацию градиентного метода, не гарантирующую оценку границы погрешности, эквивалентную оценке метода градиентного спуска.

Введем основные понятия и определения. Пусть имеется выборка наблюдений {xi,yi}rm=i, где xi Е Rn и yi Е {-1,1}. Поставим задачу минимизации эмпирической функции потерь

m

l (е) = ^ %eTx i) (1.1)

i=i

с вектором параметров регрессионной модели 0 Е Rn. По аналогии с постановкой задачи, предложенной D. Soundry и др. [376], рассмотрим случай, когда выборка наблюдений идеально разделима (Предположение 1), £ удо-

влетворяет условиям Предположения 2, а —£' имеет экспоненциальный хвост (Предположение 3).

Предположение 1. Выборка наблюдений линейно разделима: 3 0* такое, что Уг : у^0 х^ > 0.

Для простоты преобразований, предположим также, что Уг € {1, ...,т} : уг = 1, ||жг|| < 1.

Предположение 2. Уи € И: £(и) является гладкой строго убывающей неотрицательной функцией, ограниченной снизу: £(и) > 0, £'(и) < 0, Нтм^—(Х £'(и) = 0, £(и) = £'(и) = 0, имеющий непрерывный по Липши-

цу градиент с константой в: £(и') < £(и) + (У£(и), и'—и) + 2||и'—и||2, в > 0.

Предположение 3. Пусть —£'(и) = ехр(—/(и)), где /(и) = ы(1п(и)) [306].

Под функцией экспоненциального типа будем понимать функцию с экспоненциальным хвостом, заданную согласно Предположению 3. Понятие экспоненциального хвоста было предложено в работе [?] для описания асимптотического поведения функции £, при котором ](и) доминирует над д(и), где д(и) = 1п(и): УС > 0, 3и : Уи € и С|д(и)| < |/(и)|. Если аргумент и является случайной величиной, функционал £ может задавать функцию распределения. Если функционал £ является логистической функцией, то £(и) определяет логистическую функцию распределения, используемую для определения логистической регрессии, сигмоидальной функции активации при построении модели нейронных сетей и т.д. В данной работе сделан акцент на асимптотическом анализе функционала £, имеющего экспоненциальный хвост согласно Предположению 3. Распределения вероятностей с различными хвостами, построенными на основе £, в рамках данной работы не рассматриваются.

1.1.1 Анализ сходимости метода градиентного спуска для функций экспоненциального типа

Воспользуемся методом градиентного спуска для минимизации (1.1) с фиксированным шагом градиента п:

т

0(^ + 1) = 0(£) — пУ^ (0(*)) = 0(*) — п^£'(0(£)Тхг)хг. (1.2)

¿=1

Обобщая постановку задачи на случай многослойной нейронной сети, соотношение (1.2) примет вид:

т

01 (г + 1) = 01 (г) - пЕ^ (1.3)

¿=1

т

£(©) = £ *((П(©), х,>), (1.4)

¿=1

где П(©) = 01 х 02 х • • • х 0Ь, © = {0/ е : I = 1, 2,..., Ь],

Ь -количество слоев, </ - количество нейронов в слое I.

В случае стохастической постановки задачи [307], метод градиентного спуска обновляет (1.3) с учетом (1.4) для каждого пакета В (г) С {1,... , т] как:

£(©)=£ *((П(©),х,>). (1.5)

С учетом Предположений 1 и 2, метод градиентного спуска находит глобальный минимум, даже если функция потерь ^(0) не является выпуклой [376], [306]. Так как V; : 0*тх, > 0 и — -£'(£) > 0 для любого конечного г,

II 0*^0 (£) И

согласно неравенству Коши-Шварца, ||0(г)|| > 11 ц0 * у1, Нш^го ||0(г)|| = го, V; : Нш^^го 0(г)тх, = го.

С учетом сделанных допущений, нормированный вектор параметров сходится в направлении гиперплоскости, максимизирующей зазор с нормой Ь2 [376]:

0(г) 0

10 (г) | 1101

=ж) • (1.6)

где шт, = < — О , < = шах0 шт, ^р^1 = 4. Скорость сходимости

(1.6) справедлива для большинства функций £, включая логистическую и экспоненциальную. Если /'(г) = о(1) и / является строго вогнутой, то д(г) = 1п(г) [306].

Скорость сходимости О значительно ниже скорости сходимости

самого метода градиентного спуска О (1). Наиболее широко используемые подходы к повышению скорости сходимости не гарантируют границу погрешности, эквивалентную границе метода градиентного спуска, и снижает интерпретируемость результирующих оценок ввиду их большей смещенности.

Список литературы диссертационного исследования доктор наук Куликовских Илона Марковна, 2020 год

Список использованных источников

[1] Апарцин, А.С. Применение неклассических уравнений Вольтерра I рода для моделирования развивающихся систем/А.С. Апарцин, И.В. Сид-лер//АиТ. - 2013. - 6. - C. 3-16.

[2] Батуев, А.С. Нейрофизиология коры головного мозга: модульный принцип организации/А.С. Батуев. - Л.: Издательство Ленинградского университета, 1984. - 216 с.

[3] Батуев, А.С. Физиология поведения: нейробиологические закономер-ности/А.С. Батуев. - Л.:Наука, 1987. - 736 с.

[4] Бехтерева, Н.П. Механизмы деятельности мозга человека. Часть 1. Нейрофизиология человека/Н.П. Бехтерева. - Л.:Наука, 1988. - 677 с.

[5] Бутковский, А.Г. Дробное интегрально- дифференциальное исчисление и его приложения в теории управления. II. Дробные динамические системы: моделирование и аппаратная реализация/А. Г. Бутковский, С. С. Постнов, Е. А. Постнова//Автомат. и телемех. - 2013. - №5. - С. 3-34.

[6] Вапник, В.Н. Восстановление зависимостей по эмпирическим дан-ным/В.Н. Вапник. - М.: Наука, 1979. - 448 с.

[7] Вапник, В.Н. Теория распознавания образов/В.Н. Вапник, А.Я. Черво-ненкис. - М.: Наука, 1974. - 416 с.

[8] Волков, И.И. Способ повышения точности аппроксимации корреляционных функций ортогональными функциями Лагерра/И.И. Волков, С.А. Прохоров//Приборостроение. - 1974. - 17. - С. 66-72.

[9] Воронцов, К.В. Лекции по алгоритмам восстановления регрессии/К.В. Воронцов. URL: http://www.ccas.ru/voron/download/Regression. pdf. Accessed 23.07.2016

[10] Воронцов, К.В. Лекции по алгоритмическим композициям/К.В. Воронцов. URL: http://http://www.machinelearning.ru/wiki/images/ 0/0d/Voron-ML-Compositions.pdf. Accessed 25.02.2017

[11] Воронцов, К.В. Математические методы обучения по прецедентам (теория обучения машин)/К.В. Воронцов. URL: http: //www.machinelearning.ru/wiki/images/6/6d/Voron-ML-1.pdf. Accessed 25.08.2016

[12] Гольденберг, Л.М. Цифровая обработка сигналов/Л.М. Гольденберг, Б.Д. Матюшкин, М.Н. Поляк. - М.: Радио и связь, 1985. - 312 с.

[13] Джексон, Д. Ряды Фурье и ортогональные полиномы: пер. с ан-гл./Д. Джексон. - М.,Л.: Главное издательство иностранной литературы, 1948. - 260 с.

[14] Жданов, А.И. Регуляризация неустойчивых конечномерных линейных задач на основе расширенных систем/А.И. Жданов//Ж. вычислит. ма-тем. и матем. физ. - 2005. - 45(11). - C. 1919-1927.

[15] Жданов, А.И. Метод расширенных нормальных уравнений для задач регуляризации Тихонова с дифференцирующим оператором/А.И. Жда-нов//Вестник Самарского государственного технического университета. Физико-математические науки. - 2014. - №3(36). - С. 132-142.

[16] Журавлёв, Ю.И. Непараметрические задачи распознавания обра-зов/Ю.И. Журавлёв//Кибернетика. - 1976. - № 6. - С. 93-103.

[17] Журавлёв, Ю.И. Экстремальные алгоритмы в математических моделях для задач распознавания и классификации/Ю.И. Журавлёв//Доклады АН СССР. Математика. - 1976. - Т. 231, № 3. - С. 532-535.

[18] Журавлёв, Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации/Ю.И. Журавлёв//Проблемы кибернетики. - 1978. - Вып.33. - С. 5-68.

[19] Куликовских, И.М. Автоматизированная информационная система исследования обобщенных ортогональных многочленов Якоби/И.М. Куликовских, С.А. Прохоров/Свидетельство о государственной регистрации программ для ЭВМ. Рег. №2009614285 от 14.08.2009 г.

[20] Куликовских, И.М. Автоматизированная система спектрально -корреляционного анализа методом ортогональных разложений «СКАН»/И.М. Куликовских, С.А. Прохоров/Свидетельство о государственной регистрации программ для ЭВМ. Рег. №2009613943 от 24.07.2009 г.

[21] Куликовских, И.М. Вычисление коэффициентов неортогональных фильтров Мейкснера в системе GNU Octave/И.М. Куликов-ских//ЖУРНАЛ РАДИОЭЛЕКТРОНИКИ. - 2016. - №6. URL: http://jre.cplire.ru/jre/jun16/3/text.pdf

[22] Куликовских, И.М. Метод обучения машин на основе энактивистско-го подхода к извлечению информации/И.М. Куликовских, С.А. Прохоров // Аналитические и численные методы моделирования естественнонаучных и социальных проблем: сборник статей XII Международной научно-технической конференции - Пенза: ПГУ, 2017. - С. 175-179.

[23] Куликовских, И.М. Неортогональные фильтры Мейкснера/И.М. Кули-ковских//Автоматика и Телемеханика. - 2018. - 8. - С. 111-118.

[24] Куликовских, И.М. Выявление аномалий в пространстве экологических признаков для повышения точности обнаружения живых объектов в здании/И.М. Куликовских//Компьютерная оптика. -- 2017. - Т. 41, №1. - С. 126-133. - DOI: 10.18287/2412-6179-2017-41-1-126-133.

[25] Куликовских, И.М. Комплексная система коллаборативного обучения на основе нечетких моделей для описания поведения систем с частичным знанием/И.М. Куликовских, С.А. Прохоров, С.А. Сучкова, Е.В. Матыцин//Известия СНЦ РАН. - 2016. - T. 18, №4(4). - С. 760-765.

[26] Куликовских, И.М. Машинное обучение использованию предлогов в английском языке/И.М. Куликовских, С.А. Прохоров, С.А. Сучкова/ Свидетельство о государственной регистрации программ для ЭВМ.

Рег. №2015618129 от 31.07.2015 г.

[27] Куликовских, И.М. Метод повышения интерпретируемости регрессионных моделей на основе трехступенчатой модели развития мышле-ния/И.М. Куликовских//Программные продукты и системы. - 2017. -Т. 30, №4. - С. 5-14.

[28] Куликовских, И.М. Регуляризованные ортогональные модели вероятностных характеристик с условием выполнения их основных свойств/И.М. Куликовских//Программные продукты и системы. - 2018. - Т. 31, №1. - С. 99-101.

[29] Куликовских, И.М. Мобильное приложение для анализа коэффициентов разложения в условиях ограниченных вычислительных ресур-сов/И.М. Куликовских, С.А. Прохоров, Д.В. Целищев/ Свидетельство о государственной регистрации программ для ЭВМ. Рег. №2014616733 от 08.09.2014 г.

[30] Куликовских, И.М. Мобильное приложение для спектрального анализа данных на базе ЮБ/И.М. Куликовских, С.А. Прохоров, Я.Ю. Богданова/ Свидетельство о государственной регистрации программ для ЭВМ. Рег. №2013611627 от 30.01.2013 г.

[31] Куликовских, И.М. Построение моделей корреляционно - спектральных характеристик методом аналитических разложений: дис. ... канд. техн. наук: 05.13.18: защищена 17.06.11: утв. 25.11.11. — Самара, Самарский государственный аэрокосмический университет им. академика С.П. Королева, 2011. — 131 с. диссертация на соискание ученой степени кандидата технических наук.

[32] Куликовских, И.М. Программа нечеткого оценивания знаний студентов в условиях внутренней неопределенности/И.М. Куликовских, С.А.

Прохоров, С.А. Сучкова/ Свидетельство о государственной регистрации программ для ЭВМ. Рег. №2015660296 от 16.12.2015 г.

[33] Куликовских, И.М. Программный комплекс интеллектуального анализа данных: модуль обработки фотоплетизмографических сигналов/И.М. Куликовских, С.А. Прохоров, Н.С. Филиппова/ Свидетельство о государственной регистрации программ для ЭВМ.

Рег. №2013611625 от 30.01.2013 г.

[34] Куликовских, И.М. Справочник по ортогональным функциям на базе ОС Android: ортогональные функции экспоненциального типа/И.М. Куликовских, С.А. Прохоров, А.П. Майоров/Свидетельство о государственной регистрации программ для ЭВМ. Рег. №2013660124 от 24.10.2013 г.

[35] Куликовских, И.М. Формирование пространства признаков для обнаружения живых объектов в здании на основе экологических факто-ров/И.М. Куликовских//Известия СНЦ РАН. - 2016. - T. 18, №4(4). - С. 754-759.

[36] Лурия, А.Р. Высшие корковые функции человека и их нарушения при локальных поражениях мозга/А.Р. Лурия. - М.:Издательство МГУ, 1962. - 431 с.

[37] Маркова, Е.В. Об одной интегральной модели Вольтерра развивающихся динамических систем/Е.В. Маркова, Д.Н. Сидоров//АиТ. - 2014. -14. - C. 3-13.

[38] Нахушев, А.М. Дробное исчисление и его применение/А.М. Нахушев. -М.: Физмалит, 2003. - 272 с.

[39] Нестеров, Ю.Е. Метод минимизации выпуклых функций со скоростью сходимости 0(1/к2)/Ю. Нестеров//Докл. АН СССР. - 1983. - Т. 269, вып. 3. - С. 543-547.

[40] Нургес, Ю. Лагерровы модели в задачах аппроксимации и идентифи-кации/Ю. Нургес//АиТ. - 1987. - 3. - С. 88-96.

[41] Нургес, Ю. Модели Мейкснера линейных дискретных систем/Ю. Нур-гес//АиТ. - 1988. - 12. - С. 128-136.

[42] Перов, В.П. Синтез импульсных систем в ортогональном базисе. III. Использование степенных полиномов/В.П. Перов//АиТ. - 1976. - 10. -С. 58-65.

[43] Прикладной анализ случайных процессов/Под ред. С.А. Прохорова. -Самара: СНЦ РАН, 2007. - 582 с.

[44] Прохоров, С.А. Аппроксимативный анализ случайных процес-сов/С.А. Прохоров. - 2-е изд., перераб. и доп. - Самара: СНЦ РАН, 2001. - 380 с.

[45] Прохоров, С.А. Аппроксимация корреляционных функций и спектральных плотностей мощности ортогональными функциями Сонина-Лагерра/С.А. Прохоров, И.М. Куликовских//Вестник Самарского государственного технического университета. Физико-математические науки. - 2008. - №2(17). - С. 185-191.

[46] Прохоров, С.А. Кластеризация диагностических тестов при изучении предлогов английского языка в соответствии с таксономией Блума/С.А. Прохоров, С.А. Сучкова, И.М. Куликовских//Известия СНЦ РАН. -2015. - T. 17, №2(5). - С. 1097-1103.

[47] Прохоров, С.А. Ортогональные модели корреляционно - спектральных характеристик случайных процессов. Лабораторный практикум/С.А. Прохоров, И.М. Куликовских. - Самара: СНЦ РАН, 2008.-301 с.

[48] Прохоров, С.А. Основные ортогональные функции и их приложения. Часть 1. Ортогональные функции экспоненциального типа/С.А. Прохоров, И.М. Куликовских. - СНЦ РАН, Самара, 2013. - 200 с.

[49] Прохоров, С.А. Программная реализация оценивания коэффициентов Фурье при ограниченных вычислительных ресурсах/С.А. Прохоров, И.М. Куликовских//Программные продукты и системы. - 2015. -№3(111). - С. 113-118.

[50] Прохоров, С.А. Система адаптивного обучения на основе иерархических конечных автоматов/С.А. Прохоров, И.М. Куликовских//Известия СНЦ РАН. - 2015. - T. 17, №2(5). - С. 1087-1091.

[51] Прохоров, С.А. Система адаптивного обучения на основе коллаборатив-ной фильтрации/С.А. Прохоров, С.А. Сучкова, Е.В. Матыцин, И.М. Куликовских/Перспективные информационные технологии (ПИТ-2016): материалы Международной конференции. - Самара. - 2016. - С. 150156.

[52] Прохоров, С.А. Создание комплекса программ на основе пространственной схемы взаимодействия объектов/С.А. Прохоров, И.М. Куликов-ских//Программные продукты и системы. - 2012. - №3. - С. 5-8.

[53] Прохоров, С.А. Условие оптимальности фильтров Мейкснера/С.А. Прохоров, И.М. Куликовских//ЖУРНАЛ РАДИОЭЛЕКТРОНИКИ. -2015. - №4. URL: http://jre.cplire.ru/mac/apr15/9/text.pdf

[54] Прохоров, С.А. Частотные характеристики ортогональных функций Сонина-Лагерра/С.А. Прохоров, И.М. Куликовских//Вестник Самарского государственного технического университета. Физико-математические науки. - 2007. - №2(15). - С. 123-127.

[55] Прохоров, С.А. Численно-аналитический подход к вычислению интегралов при построении ортогональных моделей/С.А. Прохоров, И.М. Кули-ковских//Вестник Самарского государственного технического университета. Физико-математические науки. - 2009. - №2(19). - С. 140-146.

[56] Разжевайкин, В.Н. Модели динамики популяций/В.Н. Разжевайкин. URL: http://www.ccas.ru/razz/models.pdf. Accessed 16.06.2018

[57] Разжевайкин, В.Н. Анализ моделей динамики популяций/В.Н. Разжевайкин. - М.:МФТИ, 2010. - 174 с.

[58] Разжевайкин, В.Н. Некоторые фундаментальные вопросы математического моделирования в биологии/В.Н. Разжевайкин//Ж. вычисл. ма-тем. и матем. физ. - 2018. - №58(2). - С. 253-263.

[59] Рудаков, К.В. Полнота и универсальные ограничения в проблеме коррекции эвристических алгоритмов классификации/К.В. Руда-ков//Кибернетика. - 1987. - № 3. - С. 106-109.

[60] Рудаков, К.В. Симметрические и функциональные ограничения в проблеме коррекции эвристических алгоритмов классификации/К.В. Рудаков/Кибернетика. - 1987. - № 4. - С. 73-77.

[61] Рудаков, К.В. Универсальные и локальные ограничения в проблеме коррекции эвристических алгоритмов/К.В. Рудаков//Кибернетика. - 1987.

- № 2. - С. 30-35.

[62] Рудаков, К.В. О применении универсальных ограничений при исследовании алгоритмов классификации/К.В. Рудаков//Кибернетика. - 1988.

- № 1. - С. 1-5.

[63] Рудаков, К.В. О методах оптимизации и монотонной коррекции в алгебраическом подходе к проблеме распознавания/К.В. Рудаков, К.В. Во-ронцов//Докл. РАН. - 1999. - Т. 367, № 3. - С. 314-317.

[64] Семеновский, Ф.Н. Математическое моделирование экологических про-цессов/Ф.Н. Семеновский, С.М. Семенов. - Л.: Гидрометеоиздат, 1982.

- 290 с.

[65] Сергиенко, А.Б. Цифровая обработка сигналов/А.Б. Сергиенко. - Спб.: Питер, 2002. - 608 с.

[66] Суэтин, П.К. Классические ортогональные многочлены: в 2-х то-мах/П.К. Суэтин. - М.: Наука, 1976. - Т. 1. - 328 с.

[67] Тихонов, А.Н. Методы решения некорректных задач/А.Н. Тихонов. -М.: Наука, 1979. - 283 с.

[68] Тихонов, А.Н. О некорректных задачах линейной алгебры и устойчивом методе их решения/А.Н. Тихонов//ДАН СССР. - 1965. - 163(3). - рр. 591-594.

[69] Френкс, Л. Теория сигналов. — М.: Советское радио, 1974. — 399 с.

[70] Цифровая обработка сигналов и изображений в радиофизических приложениях/Под ред. В.Ф. Кравченко. - М.: Физмалит, 2007. - 544 с.

[71] Abbott, P.C. Generalized Laguerre polynomials and quantum mechanics/P.C. Abbott//J. Phys. A: Math. Gen. - 2000. - 33(42). -pp. 7659-7660.

[72] Agresti, A. Foundations of linear and generalized linear models/A. Agresti. - Wiley Series in Probability and Statistics, 2015. - 472 p.

[73] Alberini, C.M. The role of reconsolidation and the dynamic process of long-term memory formation and storage/Cristina M. Alberini//Front Behav Neurosci. - 2011. - 5. - p. 12.

[74] Alberini, C.M. Memory reconsolidation/Cristina M. Alberini, Joseph E. LeDoux//Current Biology. - 2013. - 23(17). - pp. R746-R750.

[75] Allee, W.C. Studies in animal aggregations: mass protection against colloidal silver among goldfishes/W.C. Allee, E. Bowen//Journal of Experimental Zoology. - 1932. - 61(2). - pp. 185-207.

[76] Aluisio, S.M. Assessing high-order skills with partial knowledge evaluation: lessons learned from using a computer-based proficiency test of English for academic purposes/S.M. Aluisio, V.T. Aquino, R. Pizzirani, O.N. de Oliveira Jr.//Journal of Information Technology Education. - 2003. - 2. - pp. 185201.

[77] Almohammadi, K. An adaptive fuzzy logic based system for improved knowledge delivery within intelligent e-learning platforms/K. Almohammadi, H. Hagras//Fuzzy Systems: Proc. 2013 IEEE International Conference on. - Hyderabad, India, 2013. - pp. 1-8.

[78] Almohammadi, K. An interval type-2 fuzzy logic based system for customised knowledge delivery within pervasive e-learning platform/K. Almohammadi, H. Hagras//Systems, Man and Cybernetics: Proc.

2013 IEEE International Conference on. - Manchester, UK, 2013. -pp. 2872-2879.

[79] Anderson, L.W. A taxonomy for learning, teaching, and assessing: A revision of Bloom's Taxonomy of Educational Objectives (Complete edition)/L.W. Anderson (Ed.), D.R. Krathwohl (Ed.), P.W. Airasian, K.A. Cruikshank, R. E. Mayer, P.R. Pintrich, J. Raths, M.C. Wittrock. - New York: Longman, 2001. - 336 p.

[80] Andersson, P. Adaptive forgetting in recursive identification through multiple models/P. Anderson//International Journal of Control. - 1985. -42(5). - pp. 171-185.

[81] Antic, D. Approximation based on orthogonal and almost orthogonal functions/D. Antic, B. Dankovic, S. Nikolic, M. Milojkovic, Z.D. Jovanovic//J. Franklin Institute. - 2012. - 349. pp. 323-336.

[82] Aoun, M. Synthesis of fractional Laguerre basis for system approximation/M. Aoun, R. Malti, F. Levron, A. Oustaloup//Automatica. - 2007. - 43(9). - pp. 1640-1648.

[83] Arnold, J.C. On scoring multiple choice exams allowing for partial knowledge/J.C. Arnold, P.L. Arnold//The Journal of Experimental Education. - 1970. - 39(1). - pp. 8-13.

[84] Arpit, D. A closer look at memorization in deep networks/D. Arpit, S. Jastrzebski, N. Ballas, D. Krueger, B. Bengio, M.S. Kanwal, T. Maharaj, A. Fischer, A. Courville, Y. Bengio, S. Lacoste-Julien. URL: arXiv:1706. 05394. Assessed 29.09.2017.

[85] Asyali, M.H. Use of Meixner functions in estimation of Volterra kernels of nonlinear systems with delay/M.H. Asyali, M. Juusola//IEEE Trans. Biomedical Engineering. - 2005. - 52. - pp. 229-237.

[86] Bai, S.-M. Evaluating students' learning achievement using fuzzy membership functions and fuzzy rules/S.-M. Bai, S.-M. Chen//Expert Systems with Applications. - 2008. - 34. - pp. 399-410.

[87] Balles, L. Coupling adaptive batch sizes with learning rates/L. Balles, J. Romero, P. Hennig. URL: arXiv:1612.05086. Assessed 16.06.2018.

[88] Barton, M.A. Barton, M.A. and Lord, F.M. An upper asymptote for the three-parameter logistic item-response model. Princeton, NJ: Educational Testing Service, 1981.

Some latent trait models and their use in inferring an examinee's ability/A. Birnbaum. In F.M. Lord & M.R. Novick (Eds.), Statistical theories of mental test scores (pp. 397-479). - Reading, Massachusetts, Addison-Wesley, 1968. - 592 p.

[89] Belt, H.J.W. Optimal parameterization of truncated generalized Laguerre series/H.J.W. Belt, A.C. den Brinker//Acoustics, Speech, and Signal Processing: The proceedings of ICASSP International Conference on. -Munich, Germany, 1997. - pp. 3805-3808.

[90] Belt, H.J.W. Orthogonal bases for adaptive filtering/H.J.W. Belt//PhD thesis, Eindhoven University of Technology, May 1997.

[91] Ben-Simon, A. A comparative study of measures of partial knowledge in multiple-choice tests/A. Ben-Simon, D.V. Budescu, B. Nevo//Applied Psychological Measurement. - 1997. - 21(1). - pp. 65-88.

[92] Bengio, Y. Learning long-term dependencies with gradient descent is difficult/ Y. Bengio, P. Simard, P. Franconi //IEEE Transactions on Neural Networks. - 1994. - 5(2). - pp. 157-166.

[93] Bereby-Meyer, Y. Decision making under internal uncertainty: the case of multiple-choice tests with different scoring rules/Y. Bereby-Meyer, J. Meyer, D.V. Budescu//Acta Psychologica. -2003. - 112. - pp. 207-220.

[94] Birnbaum, A. Some latent trait models and their use in inferring an examinee's ability/A. Birnbaum. In F.M. Lord & M.R. Novick (Eds.), Statistical theories of mental test scores (pp. 397-479). - Reading, Massachusetts, Addison-Wesley, 1968. - 592 p.

[95] Bishop, C.M. Training with noise is equivalent to Tikhonov regularization/C.M. Bishop//Neural computation. - 1995. - 7(1). -pp. 108 - 116.

[96] Bjork, E.L. Multiple-choice testing as a desired difficulty in the classroom/E.L. Bjork, J.L. Little, B.C. Storm//Journal of Applied Research in Memory and Cognition. - 2014. - 3(3). - pp. 165-170.

[97] Bjork, E.L. Can multiple-choice testing induce desirable difficulties? Evidence from the Laboratory and the Classroom/E.L. Bjork, N.C. Soderstrom, J.L. Little//The American Journal of Psychology. - 2015. -128(2). - pp. 229-239.

[98] Blasco-Arcas, L. Using clickers in class. The role of interactivity, active collaborative learning and engagement in learning performance/L. Blasco-Arcas, I. Buil, B. Hernandez-Ortega, F. Javier Sese//Computers & Education. - 2013. - 62. - pp. 102-110.

[99] Bloom, B.S. Taxonomy of educational objectives: The classification of educational goals. Handbook 1: Cognitive domain/B.S. Bloom (Ed.), M.D. Engelhart, E.J. Furst, W.H. Hill, D.R. Krathwohl. - New York: David McKay, 1956. - 207 p.

[100] Blumer, A. Learnability and the Vapnik-Chervonenkis Dimension/A. Blumer, A. Ehrenfeucht, D. Haussler, M.K. Warmuth//Journal of the Association for Computing Machinery. - 1989. - 36(4). - pp. 929-965.

[101] Bode, M. A clicker approach to teaching calculus/M. Bode, D. Drane, Y. Ben-David Kolikant, M. //Notices of the American Mathematical Society. - 2009. - 56(2). - pp. 253-256.

[102] Boukis, C. A novel algorithms for the adaptation of the pole of Laguerre filters/C. Boukis, D.P. Mandic, A.G. Constantinides, L.C. Polymenakos//IEEE Signal Processing Letters. - 2006. - 13. - pp. 429-432.

[103] Brady, M. "Clickers" and metacognition: A quasi-experimental comparative study about metacognitive self-regulation and use of electronic feedback

devices/M. Brady, H. Seli, J. Rosenthal//Computers & Education. - 2013.

- 65. - pp. 56-63.

[104] Brauer , F. Mathematical Models in Population Biology and Epidemiology (2nd ed.)/F. Brauer, C. Castillo-Chavez. - New York, NY: Springer, 2012.

[105] Laguerre-type special functions and population dynamics/G. Bretti, P.E. Ricci//Applied Mathematics and Computation. - 2007. - 187(1). - pp. 89100.

[106] Breiman, L. Bagging Predictors/L. Breiman//Machine Learning. - 1996. -24. - pp. 123-140.

[107] Bruff, D. Teaching with classroom response systems: Creating active learning environments/D. Bruff. - San Francisco, CA: Jossey-Bass, 2009.

- 240 p.

[108] Bruner, J.S. A study of thinking (2nd ed.)/J.S. Bruner, J.J. Goodnow, G.A. Austin. - Transaction Publishers, 1986. - 350 p.

[109] Budescu, D.V. Analyzing test-taking behavior: Decision theory meets psychometric theory/D.V. Budescu, Y. Bo//Psychometrika. - 2015. - 80(4). -pp. 1105-1122.

[110] Buja, A. Loss functions for binary class probability estimation and classification: Structure and applications/A. Buja, W. Stuetzle, Y. Shen. URL: http://www-stat.wharton.upenn.edu/~buja/PAPERS/ paper-proper-scoring.pdf. Accessed 23.07.16

[111] Bustince, H. Interval type-2 fuzzy sets are generalization of interval-valued fuzzy sets: Towards a wider view on their relationship/H. Bustince, J. Fernandez, H. Hagras, M. Pagola, E. Barrenechea//IEEE Tran. On Fuzzy Sets. - 2014. DOI: 10.1109/TFUZZ.2014.2362149

[112] Butler, A. Feedback enhances the positive effects and reduces the negative effects of multiple-choice testing/A. Butler, H.L. Roediger//Memory & Cognition. - 2008. - 36(3). - pp. 604-616.

[113] Candanedo, L.M. Accurate occupancy detection of an office room from light, temperature, humidity and CO2 measurements using statistical learning models/L.M. Candanedo, V. Feldheim//Energy and Buildings. - 2016. -112. - pp. 28-39.

[114] Chabriel, G. Complex non-orthogonal joint diagonalization based on LU and LQ decompositions/G. Chabriel, M. Kleinsteuber, E. Moreau, H. Shen, P. Tichavsky, A. Yeredor//IEEE Signal Processing Magazine. - 2014. - pp. 34-43.

[115] Chan, C.K.K. Co-regulation of learning in computer-supported collaborative learning environment: a discussion/C.K.K. //Metacognition and Learning. - 2012. - 7(1). - pp. 63-73.

[116] Chan, J.C.K. When does retrieval induce forgetting and when does it induce facilitation? Implications for retrieval inhibition, testing effect, and text processing/J.C.K. Chan//Journal of Memory and Language. - 2009. - 61(2).

- pp. 153-170.

[117] Chen, D.L. oTree - An open-source platform for laboratory, online, and field experiments/D.L. Chen, M. Schonger, C. Wickens//Journal of Behavioral and Experimental Finance. - 2016. - 9. - pp. 88-97.

[118] Chen, S.-M. Evaluating students' answerscripts based on interval-valued intuitionistic fuzzy sets/S.-M. Chen, T.-S. Li//Information Sciences. - 2013.

- 235. - pp. 308-322.

[119] Chen, S.-M. Fuzzy multiple attributes group decision-making based on ranking interval type-2 fuzzy sets and the TOPSIS method/S.-M. Chen, J.-A. Hong//IEEE Transactions on Systems, Man, and Cybernetics. - 2014. -44(12). - pp. 1665-1673.

[120] Chen, S.-M. Fuzzy rule interpolation based on principle membership functions and uncertainty grade functions of interval type-2 fuzzy sets/S.-M. Chen, Y.-C. Chang//Expert Systems with Applications. - 2011. - 38. - pp. 11573-11580.

[121] Chen, Yi Nonlinear stochastic system identification of skin using Volterra kernels/Yi Chen, I.W. Hunter//Ann Biomed Eng. - 2013. - 41. - pp. 847862.

[122] Chen, Z. A fusion framework for occupancy estimation in office buildings based on environmental sensor data/Z. Chen, M.K. Masood, Y.C. Soh//Energy and Buildings. - 2016. - 133. - pp. 790-798.

[123] Chien, Y.-T. Do we click in the right way? A meta-analytic review of clicker-integrated instruction/Y.-T. Chien, Y.-H. Chang, C.-Y. Chang//Educational Research Review. - 2016. - 17. - pp. 1-18.

[124] Chi-Ming Ho, P. Dynamics of long-term forgetting/P. Chi-Ming Ho//PhD thesis, Stanford University, March 2009.

[125] Clark, H.H. On the use and meaning of prepositions/H.H. Clark//Journal of Verbal Learning and Verbal Behavior. - 1968. - 7. - pp. 421-431.

[126] Clowes, G. Choice of the time-scaling factor for linear system approximations using orthonormal Laguerre functions/G. Clowes//IEEE Trans. Automatic Control. - 1965. - 10. - pp. 487-489.

[127] Cocana-Fernandez, A. Leveraging a predictive model of the workload for intelligent slot allocation schemes in energy-efficient HPC clusters/A. Cocana-Fernandez, L. Sanchez, J. Ranilla//Engineering Applications of Artificial Intelligence. - 2016. - 48. - pp. 95-105.

[128] Cohn, D. Active learning/D. Cohn//Encyclopedia of Machine Learning: In C. Sammut and G.I. Webb (eds.) - 2010. - pp. 10-14.

[129] Collins, M. Logistic regression, AdaBoost and Bregman distances/M. Collins, R.E. Schapire, Y. Singer//Machine Learning. - 2000. - 48. - pp. 287-304.

[130] Comparison of Sugeno and Mamdani Systems. URL: http://www.mathworks.com/help/fuzzy/ comparison-of-sugeno-and-mamdani-systems.html. Accessed 11.08.16.

[131] Cook, R. More than recall and opinion: Using "clickers" to promote complex thinking/R. Cook, S. Calkins//Journal on Excellence in College Teaching.

- 2013. - 24(2). - pp. 51-76.

[132] Cortes, C. Support-vector networks/C. Cortes, V. Vapnik//Machine Learning. - 1995. - 20(3). - pp. 273-297.

[133] Cover, T. Elements of information theory (2nd Ed.)/T. Cover, J. Thomas.

- John Wiley & Sons, Inc., 1991. - 776 p.

[134] Cowan, N. What are the differences between long-term, short-term, and working memory?/N. Cowan//Prog. Brain Res. - 2008. - 169. - pp. 323-338.

[135] Czepiel, S.A. Maximum likelihood estimation of logistic regression models: Theory and implementation/S.A. Czepiel. URL: http://czep.net/stat/ mlelr.pdf. Accessed 23.07.16

[136] Dankers, A. A convex method for selecting optimal Laguerre filter banks in system modelling and identification/A. Dankers, D.T. Westwick// The proceedings of ACC American Control Conference. - Marriott, Waterfront, Baltimore, MD, USA, 2010. - pp. 2694-2699.

[137] Dasgupta, S. Active learning theory/S. Dasgupta//Encyclopedia of Machine Learning: In C. Sammut and G.I. Webb (eds.) - 2010. - pp. 14-19.

[138] Daubechies, I. Painless nonorthogonal expansions/I. Daubechies, A. Grossmann, Y. Meyer//J. Math. Phys. - 1986. - 27(5). - pp. 1271-1283.

[139] de Backer, L. Examining evolutions in the adoption of metacognitive regulation in reciprocal peer tutoring groups/L. De Backer, H. Van Keer, B. Moerkerke, M. Valcke//Metacognition and Learning. - 2016. DOI: http: //dx.doi.org/10.1007/s11409-015-9141-7

[140] de Backer, L. Socially shared metacognitive regulation during reciprocal peer tutoring: identifying its relationship with students' content processing and transactive discussions/L. De Backer, H. Van Keer, M. Valcke//Intructional Science. - 2014. - 43(3). - pp. 323-344.

[141] Dehnad, A. A comparison between three and four option multiple choice questions/A. Dehnad, H. Nasser, A.F. Hosseini//Procedia - Social and Behavioral Sciences. - 2014. - 98. - pp. 398-403.

[142] den Brinker, A.C. Meixner-like functions having a rational z-transform/A.C. den Brinker//International Journal of Circuit Theory and Applications. -1995. - 23. - pp. 237-246.

[143] den Brinker, A.C. Optimal free parameters in orthonormal approximations/A.C. den Brinker, H.J. Belt//IEEE Trans. Signal Processing. - 1998. - 46. - pp. 2081-2087.

[144] den Brinker, A.C. Pole optimisation in adaptive Laguerre filtering/A.C. den Brinker, B.E. Sarroukh//Acoustics, Speech, and Signal Processing: The proceedings of ICASSP International Conference on. - Montreal, Quebec, Canada, 2004. - pp. 649-652.

[145] Derksen, C. Structure and classification of unified energy agents as a base for the systematic development of future energy grids/C. Derksen et al.//Engineering Applications of Artificial Intelligence. - 2015. - 41. - pp. 310-324.

[146] Deutsch, T. Implementing computer-based assessment - A web-based mock examination changes attitudes/T. Deutsch, K. Herrmann, T. Frese, H. Sandholzer//Computers & Education. - 2012. - 58. - pp. 1068-1075.

[147] Diakonikolas, J. Accelerated extra-gradient descent: A novel accelerated first-order method/J. Diakonikolas, L. Orecchia. URL: arXiv:1706. 04680v2. Accessed 16.06.2018.

[148] Ding, B. Classification using generalized partial least squares/B. Ding, C.M. Gentleman//Journal of Computational and Graphical Statistics. - 2005. -14(2). - pp. 280-298.

[149] Doel, K. The chaotic nature of faster gradient descent/K. Doel, U. Ascher. URL: www.cs.ubc.ca/~ascher/papers/doas1.pdf. Accessed 16.06.18.

[150] Doha, E.H. On the connection coefficients and recurrence relations arising from expansions in series of Laguerre polynomials/E.H. Doha//J. Phys. A: Math. Gen. - 2003. - 36. - pp. 5449-5462.

[151] Donnelly, S. Empirical logit analysis is not logistic regression/S. Donnelly, J. Verkuilen//Journal of Memory and Language. - 2017. - 94. - pp. 28-42.

[152] Dragone, M. A cognitive robotic ecology approach to self-configuring and evolving AAL systems/M. Dragone et al.//Engineering Applications of Artificial Intelligence. - 2015. - 45. - pp. 269-280.

[153] Dubois, J. Building a science of individual differences from fMRI/J.Dubois, R. Adolphs//Trends in Cognitive Sciences. - 2016. - 20(6). - pp. 425-443.

[154] Duchi, J. Adaptive subgradient method for online learning and stochastic optimization/J. Duchi, E. Hazan, Y. Singer//Journal of Machine Learning Research. - 2011. - 12. - pp. 2121-2159.

[155] Elliott, G. Measuring forgetting: A critical review of accelerated long-term forgetting studies/G. Elliott, C.L. Isaac, N. Muhlert//Cortex. - 2014. - 54.

- pp. 16-32.

[156] El-Sayed, A.M. On the generalized Laguerre polynomials of arbitrary (fractional) orders and quantum mechanics/A.M. El-Sayed//J. Phys. A: Math. Gen. - 1999. - 32. - pp. 8647-8654.

[157] Erickson, V.L. Erickson, V.L., Carreira-Perpinan, M.A., Cerpa, A.E., 2010. OBSERVE: Occupancy-based system for efficient reduction of HVAC energy/V.L. Erickson, M.A. Carreira-Perpinan, A.E. Cerpa//Information Processing in Sensor Networks (IPSN): Proc. 10th IEEE International Conference. - Stockholm, Sweden, 2010.

[158] Espinosa, M.P. Optimal correction for guessing in multiple-choice tests/M.P. Espinosa, J. Gardeazabal//Journal of Mathematical Psychology.

- 2010. - 54. - pp. 415-425.

[159] Everitt, B.S. The Cambridge dictionary of statistics/B.S. Everitt. -Cambridge: Cambridge University Press, 2010. - 480 p.

[160] Fan, Q. Convergence of batch gradient learning with smoothing regularization and adaptive momentum for neural networks/Q. Fan, W. Wu, J.M. Zurada//Springerplus. - 2016. - DOI: 10.1186/s40064-016-1931-0.

[161] Firth, D. Bias reduction, the Jeffreys prior and GLIM/D. Firth. In L. Fahrmeir, B. Francis, R. Gilchrist, & G. Tutz (Eds.), Advances in GLIM and Statistical Modelling (pp. 91-100). - New York: Springer-Verlag, 1992.

[162] Firth, D. Firth, D. (1992b). Generalized linear models and Jeffreys priors: An iterative weighted least-squares approach/D. Firth. In Y. Dodge, & J. Whittake (Eds.), Computational Statistics (pp. 553-557). - Vienna: Physica-Verlag, 1992.

[163] Flach, P. Machine learning: The art and science of algorithms that make sense of data/P. Flach. - Cambridge University Press, 2012. - 396 p.

[164] Fletcher, R. Practical methods of optimization (2nd ed.)/R. Fletcher. - New York, John Wiley, 1987. - 456 p.

[165] Foerster, H.V. Doomsday: Friday, 13 November, A.D. 2026/H.V. Foerster, P.M. Mora, L.W. Amiot//Science. - 1960. - 132(3436). - pp. 1291-1295.

[166] Fort, G. Classification using partial least squares with penalized logistic regression/G. Fort, S. Lambert-Lacroix//Bioinformatics. - 2005. - 21(7). -pp. 1104-1111.

[167] Freund, Y. A decision-theoretic generalization of online learning and an application to boosting/Y. Freund, R.E. Schapire//Journal of Computer and System Sciences. - 1997. - 55(1). - pp. 119-139.

[168] Freund, Y. An adaptive version of the boost by majority algorithm/Y. Freund//Machine Learning. - 2001. - 43(3). - pp. 293-318.

[169] Freund, Y. Boosting a weak learning algorithm by majority/Y. Freund//Information and Computation. - 1995. - 121(2). - pp. 256-285.

[170] Friedman, J. Additive logistic regression: a statistical view of boosting/J. Friedman, T. Hastie, R. Tibshirani//Annals of Statistics. - 2000. - 28(2). -pp. 337-407.

[171] Friedman, J.H. Stochastic gradient boosting/J.H. Friedman. URL: https: //statweb.stanford.edu/~jhf/ftp/stobst.pdf. Accessed 25.08.2016

[172] Fu, Y. An optimum time scale for discrete Laguerre network/Y. Fu, G.A. Dumont//IEEE Trans. Automatic Control. - 1993. - 38. - pp. 934-938.

[173] Garibaldi, J.M. Uncertain Fuzzy Reasoning: A Case Study in Modelling Expert Decision Making/J.M. Garibaldi, T. Ozen//IEEE Trans. Fuzzy Syst.

- 2007. - 15(1). - pp. 16-30.

[174] Gelman, A. A weakly informative default prior distribution for logistic and other regression models/A. Gelman, A. Jakulin, M.G. Pittau, Y.-S. Su//The Annals of Applied Statistics. - 2008. - 2(4). - pp. 1360-1383.

[175] Gershman, S.J. Computational rationality: A converging paradigm for intelligence in brains, minds, and machines/S.J. Gershman, E.J. Horvitz, J.B. Tenenbaum//Science. - 2015. - 349(6245). - pp. 273-278.

[176] Ghafournia, N. The relationship between using multiple-choice test-taking strategies and general language proficiency level/N. Ghafournia//Procedia

- Social and Behavioral Sciences. - 2013. - 70. - pp. 90-94.

[177] Ghadimi, E. Global convergence of the Heavy-ball method for convex optimization/E. Ghadimi, H.R. Feyzmahdavian, M. Johansson. URL: arXiv:1412.7457v1. Assessed 16.06.2018.

[178] Goguen, J. Fuzzy rule interpolation based on principle membership functions and uncertainty grade functions of interval type-2 fuzzy sets/J. Goguen//J. Math. Anal. Appl. - 1967. - 18. - pp. 145-174.

[179] Gompertz, B. On the nature of the function expressive of the law of human mortality, and on a new mode of determining the value of

life contingencies/B. Gompertz//Philosophical Transactions of the Royal Society of London B: Biological Sciences. - 1825. - 182. - pp. 513-585.

[180] Goodfellow, I.J. Explaining and harnessing adversarial examples/I.J. Goodfellow, J. Shlens, C. Szegedy//ICLR. - 2015. URL: arXiv:1412.6572. Assessed 10.01.2020.

[181] Gorzalczany, M.B. An interval-valued fuzzy interference method. Some basic properties/M.B. Gorzalczany//Fuzzy Sets and Systems. - 1989. -31(2). - pp. 243-251.

[182] Gorzalczany, M.B. Interval-valued fuzzy interference involving uncertain (inconsistent) conditional propositions/M.B. Gorzalczany//Fuzzy Sets and Systems. - 1989. - 29(2). - pp. 235-240.

[183] Grau, V. Self and social regulation of learning during collaborative activities in the classroom: The interplay of individual and group cognition/V. Grau, D. Whitebread//Learning and Instruction. - 2012. - 22(6). - pp. 401-412.

[184] Graves, A. Hybrid computing using a neural network with dynamic external memory/A. Graves, G. Wayne, M. Reynolds, T. Harley, I. Danihelka, A. Grabska-Barwinska, S.G. Colmenarejo, E. Grefenstette, T. Ramalho, J. Agapiou, A.P. Badia, K.M. Hermann, Y. Zwols, G. Ostrovski, A. Cain, H. King, C. Summerfield, P. Blunsom, K. Kavukcuoglu, D. Hassabis//Nature. - 2016. - 538. - pp. 471-476.

[185] Groth-Marnat, G. Handbook of psychological assessment/G. Groth-Marnat,

A.J. Wright. - Wiley, 2016. - 768 p.

[186] Gucht, F.V. The iconicity of embodied meaning. Polysemy of spatial prepositions in the cognitive framework/F.V. Gucht, K. Willems, L. Cuypere//Language Sciences. - 2007. - 29. - pp. 733-754.

[187] Gunasekar, S. Implicit regularization in matrix factorization/S. Gunasekar,

B. Woodworth, S. Bhojanapalli, B. Neyshabur, N. Srebro. URL: arXiv: 1705.09280. Assessed 23.09.2017.

[188] Gunasekar, S. Characterizing implicit bias in terms of optimization geometry/S. Gunasekar, J. Lee, D. Soudry, N. Srebro. URL: arXiv:1802. 08246. Assessed 16.06.2018.

[189] Hailemariam, E. Real-time occupancy detection using decision trees with multiple sensor types/E. Hailemariam et al.//Simulation for Architecture and Urban Design: Proc. 2011 Symposium. - Boston, MA, USA, 2011.

[190] Han, B. Progressive stochastic learning for noisy labels/B. Han, I.W Tsang, L. Chen, C.P. Yu, S.F. Fung//IEEE Transactions on Neural Networks and Learning Systems. - 2018. - 29(10). - pp. 5136-5148.

[191] Hansen, P.C. Regularization, GSVD and truncated GSVD/P.C. Hansen//BIT Numerical Mathematics. - 1989. - 29(3). - pp. 491-504.

[192] Hari, R. Centrality of Social Interaction in Human Brain Function/R. Hari, L. Henriksson, S. Malinen, L. Parkkonen//Neuron. - 2015. - 88. - pp. 181193.

[193] Haselton, M.G. The evolution of cognitive bias/M.G. Haselton, D. Nettle, P.W. Andrews. In D.M. Buss (Eds.), The handbook of evolutionary psychology (pp. 724-746). - Hoboken, NJ, US, John Wiley & Sons Inc., 2005. - 1056 p.

[194] Hashim, K. Software engineering assessments and learning outcomes/K. Hashim, N.N. Khairuddin//Software Engineering, Parallel and Distributed Systems: Proc. 8th WSEAS Int. Conference on. -Cambridge, UK, 2009. - pp. 131-134.

[195] Hastie, T. The elements of statistical learning: Data mining, inference, and prediction (2nd ed.)/T. Hastie, R. Tibshirani, J. Friedman. - Springer Series in Statistics, 2013. - 745 p.

[196] He, S. Adaptive equalization for multipath fading channels using Laguerre filters/Shuangchi He, Xiuming Shan//Commun., Computers, and Signal

Process.: Proc. PACRIM Int. Conf. - Victoria, BC, Canada, 2003. - pp. 450453.

[197] Heft, H. An ecological approach to psychology/H. Heft//Review of General Psychology. - 2013. - 17(2). - pp. 162-167.

[198] Heinze, G. A solution to the problem of separation in logistic regression/G. Heinze, M. Schemper//Statistics in Medicine. - 2002. - 21. - pp. 2409-2419.

[199] Hellerstedt, R. From cue to recall: The temporal dynamics of long-term memory retrieval/R. Hellerstedt//PhD thesis, Lund University, October 2015.

[200] Hilbert, M. Toward a synthesis of cognitive biases: How noisy information processing can bias human decision making/M. Hilbert//Psychological Bulletin. - 2012. - 138(2). - pp. 211-237.

[201] Hinrichs, J.V. Short-term memory with a guessing technique/J.V. Hinrichs//Journal of Experimental Psychology. - 1966. - 71(1). - pp. 89-95.

[202] Hinrichs, J.V. The ranschburg effct: Repetition and guessing factors in short-term memory/J.V. Hinrichs, S.P. Mewaldt, J. Redding//Journal of Verbal Learning and Verbal Behavior. - 1973. - 12(1). - pp. 64-75.

[203] Hochreiter, S. The vanishing gradient problem during learning recurrent neural nets and problem solutions/S. Hochreiter//International Journal of Uncertainty, Fuzziness and Knowledge-Based. - 1996. - 6(2). - pp. 107-116.

[204] Hochreiter, S. Recurrent Neural Net Learning and Vanishing Gradient/S. Hochreiter// International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems. - 1998. - 6(2). - pp. 107-116.

[205] Hochreiter, S. Bridging Long Time Lags by Weight Guessing and Long Short Term Memory/S. Hochreiter, J. Schmidhuber. In L. Silva, J. C. Principe, & L. B. Almeida (Eds.), Spatiotemporal models in biological and artificial systems. - Amsterdam: IOS Press, 1996. - pp. 65-72.

[206] Hosmer Jr., D.W. Applied Logistic Regression (2nd ed)/D.W. Hosmer Jr., S. Lemeshow. - New York: John Wiley & Sons, 2000. - 528 p.

[207] Huang, K.L. Towards privacy-sensitive participatory sensing/K.L. Huang, S.S. Kanhere, W. Hu//Pervasive Computing and Communications: Proc. IEEE International Conference, Galveston, TX, USA, 2009.

[208] Huff, K.C. The comparison of mobile devices to computers for web-based assessments/K.C. Huff//Computers in Human Behavior. - 2015. - 49. -p. 208-212.

[209] Ingle, V.K. Digital signal processing using MATLAB /V.K. Ingle, J.G. Proakis. - Northeastern University: Cengage Learning, 2012. - 652 p.

[210] International language standards, Cambridge English. Cambridgeenglish.org. URL: http://www.cambridgeenglish.org/cefr/. Accessed 15.06.16.

[211] Ismail, M.E.H. Connection relations and characterizations of orthogonal polynomials/M.E.H. Ismail, P. Simeonov//Advances in Applied Mathematics. - 2012. - 49. - pp. 134-164.

[212] Jahn, K.U. Intervall-wertige Mengen/K.U. Jahn//Mathematische Nachrichten. - 1975. - 68. - pp. 115-132.

[213] James, G. An introduction to statistical learning with applications in R/G. James, D. Witten, T. Hastie, R. Tibshirani. - New York: SpringerVerlag, 2013. — 426 p.

[214] Jang, B.S. Prediction of pseudoprogression versus progression using machine learning algorithm in glioblastoma/B.S. Jang, S.H. Jeon, I.l.H. Han Kim, I.A. Kim//Scientific Reports. - 2018. - 8. - pp. 12516.

[215] Jarvela, S. Promoting and researching adaptive regulation: New Frontiers for CSCL research/S. Jarvela, A. Hadwin//Computers in Human Behavior. - 2015. - 52. - pp. 559-561.

[216] Jarvela, S. New frontiers: regulating learning in CSCL/S. Jarvela, A. Hadwin//Educational Psychologist. - 2013. - 48(1). - pp. 25-39.

[217] Jarvela, S. Recognizing socially shared regulation by using the temporal sequences of online chat and logs in CSCL/S. Jarvela, J. Malmberg, M. Koivuniemi//Learning and Instruction. - 2016. - 42. - p. 1-11.

[218] Jazlan, A. A review on reduced order approximation for digital filters with complex coefficients using model reduction/A. Jazlan, V. Sreeram, R. Togner, W.A. Mousa//The proceedings of 2013 Australian Control Conference. - Perth, Australia. - 2013. - pp. 79-84.

[219] Ji, Z. Risk and parameter convergence of logistic regression/Z. Ji, M. Telgarsky. URL: arXiv:1803.07300. Assessed 16.06.2018.

[220] Jimanez Catalan, R.M. Frequency and variability in errors in the use of English prepositions/R.M. Jimanez Catalán//A Journal of English and American Studies. - 1996. - 17. - p. 171-188.

[221] Jin, M. Jin, M., 2016. Occupancy detection via environmental sensing/M. Jin//IEEE Transactions on Automation Science and Engineering. - 2016. -PP(99). - pp. 1-13.

[222] John, R. Type-2 fuzzy logic: Challenges and misconceptions/R. John, S. Coupland//IEEE Comput. Intell. Mag. - 2012. - 7(3). - pp. 48-52.

[223] Kahneman, D. On the reality of cognitive illusions/D. Kahneman, A. Tversky//Psychological Review. - 1996. - 103(3). - pp. 582-591.

[224] Kahneman, D. Prospect Theory: An analysis of decision under risk/D. Kahneman, A. Tversky//Knowledge-Based Systems. - 1979. - 47(2). - pp. 263-292.

[225] Kahneman, D. Subjective probability: A judgement of representativeness/D. Kahneman//Cognitive Psychology. - 1972. - 3(3). - pp. 430-454.

[226] Karhunen, K. Uber lineare Methoden in der Wahrscheinlichkeitsrechnung/K. Karhunen//Ann. Acad. Sci. Fennicae. Ser. A. I. Math.-Phys. - 1947. - 37. - pp. 1-79.

[227] Karnik, N.N. Type-2 fuzzy logic systems/N.N. Karnik, J.M. Mendel, Q. Liang//IEEE Trans. Fuzzy Syst. - 1999. - 7(6). - pp. 643-658.

[228] Kavcic, A. Fuzzy user modeling for adaptation in educational hypermedia/A. Kavcic//IEEE Transactions on Systems, Man, and Cybernetics. - 2004. - 34(4). - pp. 439-449.

[229] Kearns, M. Cryptographic limitations on learning Boolean formulae and finite automata/M. Kearns, L. Valiant//Theory of Computing: The proceedings of the 21st Annual ACM Symposium on. - 1989. - pp. 433-444.

[230] Ken Cor, M. Guessing and Forgetting: A Latent Class Model for Measuring Learning/M. Ken Cor, Gaurav Sood//Political Analysis. - 2016. - 24(2). -pp. 226-242.

[231] Kemmerer, D. The spatial and temporal meanings of English prepositions can be independently impaired/D. Kemmerer//Neuropsychologia. - 2005. -43. - p. 797-806.

[232] Kessels, R. TEXample.net}. TikZ examples. Example: Emoticons/R. Kessels. URL: http://www.texample.net/tikz/examples/emoticons/. Accessed 15.06.16.

[233] Kim, H.S. Convergence analysis of optimization algorithms/H.S. Kim, J.H. Kang, W.M. Park, S.H. Ko, Y.H. Cho, D.S. Yu, Y.S. Song, J.W. Choi. URL: arXiv:1707.01647. Assessed 16.06.2018.

[234] King, J.J. Optimum pole positions for Laguerre-function models/J.J. King, T. O'Canainn//Electronics Letters. - 1969. - 5. - pp. 601-602.

[235] King, R.E. Digital Laguerre filters/R.E. King, P.N. Paraskevopoulos//Int. J. Circuit Theory and Appl. - 1977. - 5(1). - pp. 81-91.

[236] Kingma, D.P. Adam: A method for stochastic optimization/D.P. Kingma, J. Ba. URL: arXiv:1412.6980v1. Assessed 16.06.2018.

[237] Kirkpatrick, J. Overcoming catastrophic forgetting in neural networks/J. Kirkpatrick, R. Pascanu, N. Rabinowitz, J. Veness, G. Desjardins, A.A. Rusu, K. Milan, J. Quan, T. Ramalho, A. Grabska-Barwinska, D. Hassabis, C. Clopath, D. Kumaran, R. Hadsell. URL: arXiv:1612.00796. Accessed 23.09.17.

[238] Kitchin, R.M. Cognitive maps: what are they and why study them?/R.M. Kitchin//Journal of Experimental Psychology. - 1994. - 14(1). - p. 1-19.

[239] Kleiner, L.F. The semantics of English prepositions. Book review/L.F. Kleiner//Journal of Pragmatics. - 2005. - 37. - p. 775-779.

[240] Klink, W.H. Approximating with nonorthogonal basis functions/W.H. Klink, G.L. Payne//Journal of Computational Physics. - 1976. - 21. -pp. 208-226.

[241] Kosambi, D.D. Statistics in Function Space/D.D. Kosambi//Journal of the Indian Mathematical Society. - 1943. - 7. - pp. 76-88.

[242] Kubinger, K.D. On minimizing guessing effects on multiple-choice items: Superiority of a two solutions and three distractors item format to a one solution and five distractors item format/K.D. Kubinger, S. Holocher-Ertl, M. Reif, C. Hohensinn, M. Frebort//International Journal of Selection and Assessment. - 2010. - 18(1). - pp. 111-115.

[243] Kulikovskikh, I.M. Cognitive validation map for early occupancy detection in environmental sensing/I.M. Kulikovskikh//Engineering Applications of Artificial Intelligence. - 2017. - 65. - pp. 330-335.

[244] Kulikovskikh, I.M. Meixner nonorthogonal filters/I.M. Kulikovskikh//Automation and Remote Control. - 2018. - 79(8). -pp. 1458-1473.

[245] Kulikovskikh, I.M. Minimizing the effects of floor and ceiling to improve the convergence of log-likelihood / I.M. Kulikovskikh, S.A. Prokhorov//Procedia Engineering. - 2017. - 201. - pp. 779-788.

[246] Kulikovskikh, I.M. Modifications of log-likelihood to measure floor and ceiling effects/I.M. Kulikovskikh, S.A. Prokhorov//3rd Int. Conference on Information Technology and Nanotechnology (ITNT-2017). - Samara, Russia, 2017. - pp. 1849-1853.

[247] Kulikovskikh, I.M. A method of implicit regularization based on the phenomena of retrieval-induced forgetting/I.M. Kulikovskikh, S.A. Prokhorov//4th Int. Conference on Information Technology and Nanotechnology (ITNT-2018). - Samara, Russia, 2018. - pp. 2132-2137.

[248] Kulikovskikh, I.M. Psychological perspectives on implicit regularization: A model of retrieval-induced forgetting/I.M. Kulikovskikh, S.A. Prokhorov//Journal of Physics: Conference Series. - 2018. (принята к опубликованию)

[249] Kulikovskikh, I.M. Promoting collaborative learning through regulation of guessing in clickers/I.M. Kulikovskikh, S.A. Prokhorov, S.A. Suchkova//Computers in Human Behavior. - 2017. - 75. - pp. 81-91.

[250] Kulikovskikh, I.M. Some lightweight algorithms for scientific computing in mobile technologies/I.M. Kulikovskikh, S.A. Prokhorov//Applied Mathematics and Scientific Computing: The Proc. 8th International Conference on. - Sibenik, Croatia. - 2013. - pp. 40-41.

[251] Kulikovskikh, I., Prokhorov, S., Lipic, T., Legovic, T., Smuc, T. BioGD: Bio-inspired robust gradient descent. PLoS ONE. - 2019. - 14(7). - e0219004.

[252] Kulhavy, R. On a general concept of forgetting/R. Kulhavy, M.B. Zarrop//International Journal of Control. - 1993. - 58(4). - pp. 905-924.

[253] Kuo, C.-Y. Toward an integrated model for designing assessment systems: An analysis of the current status of computer-based assessment in

science/C.-Y. Kuo, H.-K. Wu//Computers & Education. - 2013. - 68. -pp. 388-403.

[254] Lam, K.P. Occupancy detection through an extensive environmental sensor network in an open-plan office building/K.P. Lam et al.//IBPSA Building Simulation. - 2009. - 145. pp. 1452-1459.

[255] Lantz, M.E. The use of 'Clickers' in the classroom: Teaching innovation or merely an amusing novelty/M.E. Lantz//Computers in Human Behavior. -2010. - 26(4). - pp. 556-561.

[256] Lantz, M.E. Effectiveness of clickers: Effect of feedback and the timing of questions on learning/M.E. Lantz, A. Stawiski//Computers in Human Behavior. - 2014. - 31. - pp. 280-286.

[257] LeCun, Y. Deep learning/Y. LeCun, Y. Bengio, G. Hinton//Nature. - 2015. - 521. - pp. 436-444.

[258] LeCun, Y. THE MNIST DATABASE of handwritten digits/Y. LeCun, C. Cortes, C.J.C. Burges. URL: http://yann.lecun.com/exdb/mnist/. Accessed 02.08.16

[259] Lee, J.D. Gradient descent only converges to minimizers/J.D. Lee, M. Simchowitz, M.I. Jordan, B. Recht//JMLR: Workshop and Conference Proceedings. - 2016. - 49. - pp. 1-12.

[260] Legovic, T. Dynamic population models. In Jorgensen, S. (ed.), Ecological model types, pp. 39-63. Elsevier, 2016.

[261] Lesage, E. Scoring methods for multiple choice assessment in higher education - Is it still a matter of number right scoring or negative marking?/E. Lesage, M. Valcke, E. Sabbe//Studies in Educational Evaluation. - 2013. - 39. - pp. 188-193.

[262] Levesque, A.A. Using clickers to facilitate development of problem-solving skills/A.A. Levesque//CBE Life Sciences Education. - 2011. - 10(4). -pp. 406-417.

[263] Lewis-Beck, M.S. The SAGE encyclopedia of social science research methods/M.S. Lewis-Beck, A. Bryman, T.F. Liao. - SAGE Publications, 2003. - 1528 p.

[264] Li, A.H. Boosting in the presence of outliers: Adaptive classification with nonconvex loss functions/A.H. Li, J. Bradic//Journal of the American Statistical Association. - 2018. - 113(522). - pp. 660-674.

[265] Liang, Q. Interval type-2 fuzzy logic systems: Theory and design/Q. Liang, J. Mendel//IEEE Trans. Fuzzy Syst. - 2000. - 8(5). - pp. 535-550.

[266] Lin, H.-T. A note on Platt's probabilistic outputs for support vector machines/H.-T. Lin, C.-J. Lin, R.C. Weng//Machine Learning. - 2007. -68. - pp. 267-276.

[267] Lin, J. Generalization properties and implicit regularization for multiple passes SGM/J. Lin, R. Camoriano, L. Rosasco//The Proceedings of the 33rd International Conference on Machine Learning. - NY, USA, 2016. -pp. 2340-2348.

[268] Lindstromberg, S. English prepositions explained (revised ed.)/S. Lindstromberg. - Amsterdam: John Benjamins, 2010. - 287 p.

[269] Little, J.L. Optimizing multiple-choice tests as tools for learning/J.L. Little, E.L. Bjork//Memory & Cognition. - 2015. - 43. - pp. 14-26.

[270] Lo, J.-J. Effects of confidence scores and remedial instruction on prepositions learning in adaptive hypermedia/J.-J. Lo, H.-M. Wang, S.-W. Yeh//Computers & Education. - 2004. - 42. - pp. 45-63.

[271] Long, P.M. Random classification noise defeats all convex potential boosters/P.M. Long, R.A. Servedio//Machine Learning. - 2010. - 78(3). - pp. 287-304.

[272] Lord, F.M. Applications of item response theory to practical testing problems/F.M. Lord. - Mahwah, NJ: Lawrence, Erlbaum Associates, Inc., 1980. - 274 p.

[273] Lord, F.M. Statistical theories of mental test scores/F.M. Lord, M.R. Novick. - Reading, MA: Addison Wesley, 1974. - 592 p.

[274] Ma, J. Fuzzy set approach to the assessment of student centered learning/J. Ma, D.N. Zhou//IEEE Transactions on Education. 2000. - 33. - pp. 237241.

[275] MacLeod, C. Attentional bias in emotional disorders/C. MacLeod, A. Mathews, P. Tata//Journal of Abnormal Psychology. - 1986. - 95(1). -pp. 15-20.

[276] Macready, G.B. The use of probabilistic models in the assessment of mastery/G.B. Macready, C.M. Dayton//Journal of Educational Statistics. - 1977. - 2. - pp. 99-120.

[277] Maione, G. Combining loop-shaping and Laguerre development for rational approximation of a noninteger order, integral, analog controller/G. Maione//Emerging Technologies and Factory Automation: The Proceedings of 2005 IEEE Conference on. - Catania, Italy, 2005. - pp. 565-570.

[278] Mair, P. IRT goodness-of-fit using approaches from logistic regression/P. Mair, S.P. Reise, P.M. Bentler. URL: http://czep.net/stat/mlelr.pdf. Accessed 23.07.16

[279] Malmberg, J. Promoting socially shared regulation of learning in CSCL: Progress of socially shared regulation among high- and low-performing groups/J. Malmberg, S. Jarvela, H. Jarvenoja, E. Panadero//Computers in Human Behavior. - 2015. - 52. - pp. 562-572.

[280] Malti, R. Unified construction of fractional generalized orthogonal bases. Fractional Differentiation and its Applications/Rachid Malti, Mohamed Aoun, Francois Levron, Alain Oustaloup. - U-Books, 2005. - pp. 87-102.

[281] Malthus, T.R. An essay on the principle of population, as it affects the future improvement of society. With remarks on the speculations of Mr. Godwin,

M. Condorcet and other writers/T.R. Malthus. - London: J. Johnson, 1798. - 432 p.

[282] Marewski, J.N. Cognitive niches: an ecological model of strategy selection/J.N. Marewski, L.J. Schooler//Psychol Rev. - 2011. - 118(3). -pp. 393-437.

[283] Masnadi-Shirazi, M.A. Laguerre discrete-time filter design/M.A. Masnadi-Shirazi, M. Aleshams//J. Electr. and Comp. Engin. - 2003. - 29. - pp. 173192.

[284] Mather, J.L. Least squares solutions in signal processing using the singular value decomposition/John L Mather. URL: http://www.dtic.mil/dtic/ tr/fulltext/u2/a168249.pdf

[285] May, R.M. Simple mathematical models with very complicated dynamics/R.M. May//Nature. - 1976. - 261(5560). - pp. 459-467.

[286] Mayer, R.E. A taxonomy for computer-based assessment of problem-solving/R.E. Mayer//Computers in Human Behaviour. - 2002. - 18. -pp. 623-632.

[287] Mayer, R.E. Clickers in college classrooms: Fostering learning with questioning methods in large lecture classes/R.E. Mayer, A. Stull, K. DeLeeuw, K. Almeroth, B. Bimber, D. Chun, et al.//Contemporary Educational Psychology. - 2009. - 34. - pp. 51-57.

[288] McCulloch, C.E. Generalized, linear, and mixed models (2nd ed.)/C.E. McCulloch, S.R. Searle, J.M. Neuhaus. - New York: John Wiley, 2009. -424 p.

[289] McDonough, K. The impact of individual and shared clicker use on students' collaborative learning/K. McDonough, J.A. Foote//Computers & Education. - 2015. - 86. - pp. 236-249.

[290] Meixner, J. Orthogonale polynomsysteme mit einer besonderen gestalt der erzeugenden funktion/J. Meixner//J. Lond. Math. Soc. - 1934. - 9. - pp. 613.

[291] Mendel, J.M. Comments on "Interval type-2 fuzzy sets are generalization of interval-valued fuzzy sets: towards a wide view on their relationship"/J.M. Mendel, H. Hagras, H. Bustince, F. Herrera//IEEE Tran. On Fuzzy Sets. -2015. DOI: 10.1109/TFUZZ.2015.2446508

[292] Mendel, J.M. Interval type-2 fuzzy sets made simple/J.M. Mendel, R.I.B. John//IEEE Tran. On Fuzzy Sets. - 2006. - 14(6). - pp. 808-821.

[293] Mendel, J.M. Type-2 fuzzy sets made simple/J.M. Mendel, R.I.B. John//IEEE Tran. On Fuzzy Sets. - 2002. - 10(2). - pp. 117-127.

[294] Mendel, J. Uncertain rule-based fuzzy logic systems: Introduction and new directions/J. Mendel. - Prentice-Hall, 2001. - 576 p.

[295] Meng, F. A new method for group decision making with incomplete fuzzy preference relations/F. Meng, X. Chen//Knowledge-Based Systems. - 2015. -73.-pp. 111-123.

[296] Milkowski, M. Explaining the computational mind/M. Milkowski. - MIT Press, 2013. - 243 p.

[297] Mizumoto, M. Interval type-2 fuzzy logic systems: Theory and design/M. Mizumoto, K. Tanaka//Inf. Control. - 1976. - 31. - pp. 312-340.

[298] Moore, B.C. Principal component analysis in linear system: Controllability, observability, and model reduction/B.C. Moore//IEEE Trans. Automat. Control. - 1981. - AC-26. - pp. 17-32.

[299] Mordvintsev, A. Inceptionism: Going deeper into neural networks. Google research blog/A. Mordvintsev, C. Olah, M. Tyka. URL: https://research.googleblog.com/2015/06/ inceptionism-going-deeper-into-neural.html. Accessed 23.06.16.

[300] Morente-Molinera, J.A. On multi-granular fuzzy linguistic modeling in group decision making problems: A systematic review and future trends/J.A. Morente-Molinera, I.J. Perez, M.R. Urena, E. Herrera-Viedma//Knowledge-Based Systems. - 2015. - 74. - pp. 49-60.

[301] Morewedge, C.K. Associative processes in intuitive judgement/C.K. Morewedge, D. Kahneman//Trends in Cognitive Sciences. - 2010. - 14(10).

- pp. 435-440.

[302] Mpitsos, G.J. Convergence and divergence in neural networks: Processing of chaos and biological analogy/G.J. Mpitsos, R.M. Jr. Burton//Neural Networks. - 1992. - 5. - pp. 605-625.

[303] Mueller, C.M. English learners' knowledge of prepositions: Collocational knowledge or knowledge based on meaning?/C.M. Mueller//System. - 2011.

- 39. - pp. 480-490.

[304] Nacson, M.S. Stochastic gradient descent on separable data: Exact convergence with a fixed learning rate/M.S. Nacson, N. Srebro, D. Soudry. URL: arXiv:1806.01796. Assessed 16.06.2018.

[305] Nacson, M.S. Convergence of gradient descent on separable data/M.S. Nacson, J. Lee, S. Gunasekar, P.H.P. Savarese, N. Srebro, D. Soudry. URL: arXiv:1803.01905. Assessed 16.06.2018.

[306] Nacson, M. Convergence of gradient descent on separable data/M. Nacson, J.D. Lee, S. Gunasekar, P.H.P. Savarese, N. Srebro, D. Soundry. In AISTATS, 2019.

[307] Nacson, M. Stochastic gradient descent on separable data: Exact convergence with a fixed learning rate/M. Nacson, N. Srebro, D. Soundry. In AISTATS, 2019.

[308] Neelakantan, A. Adding Gradient Noise Improves Learning for Very Deep Networks/A. Neelakantan, L. Vilnis, Q.V. Le, I. Sutskever, L. Kaiser, K. Kurach, J. Martens. URL: arXiv:1511.06807. Assessed 23.09.2017.

[309] Neyshabur, B. Implicit regularization in deep learning/B. Neyshabur. URL: arXiv:1709.01953. Assessed 23.09.2017.

[310] Neyshabur, B. Exploring generalization in deep learning/B. Neyshabur, S. Bhojanapalli, D. McAllester, N. Srebro. URL: arXiv:1706.08947. Assessed 16.06.2018.

[311] Neyshabur, B. In search of the real inductive bias: On the role of implicit regularization in deep learning/B. Neyshabur, R. Tomioka, N. Srebro. URL: arXiv:1412.6614. Assessed 23.09.2017.

[312] Neyshabur, B. Geometry of pptimization and implicit regularization in deep learning/B. Neyshabur, R. Tomioka, R. Salakhutdinov, N. Srebro. URL: arXiv:1705.03071. Assessed 23.09.2017.

[313] Ngu, B.H. Evaluating a CALL software on the learning of English prepositions/B.H. Ngu, S. Rethinasamy//Computers & Education. - 2006.

- 47. - pp. 41-55.

[314] Nickerson, R.S. Knowledge assessment: Squeezing information from multiple-choice testing/R.S. Nickerson, S.F. Butler, M.T. Carlin//Journal of Experimental Psychology: Applied. - 2015. - 21(2). - pp. 167-177.

[315] Nicol, D. E-assessment by design: using multiple-choice tests to good effect/D. Nicol//Journal of Further and Higher Education. - 2007. - 31(1).

- pp. 53-64.

[316] Oliveira e Silva, T. On the determination of the optimal pole position of Laguerre filters/T. Oliveira e Silva//IEEE Trans. Signal Processing. - 1995.

- 40. - pp. 2079-2087.

[317] Oliveira, F.M. Autonomic and metabolic effects of OSA in childhood obesity/F.M. Oliveira, W.H. Tran, D. Lesser, R. Bhatia, R. Ortega, S.D. Mittelman, T.G. Keens, S.L. Davidson Ward, M.C. Khoo//The proceedings of 32nd Annual Int. Conference of the IEEE EMBS. - Buenos Aires, Argentina, 2010. - pp. 6134-6137.

[318] Ozen, T. Effect of type-2 fuzzy membership function shape on modelling variation in human decision making/T. Ozen, J.M. Garibaldi//Fuzzy Systems: The proceedings of IEEE International Conference on. - Budapest, Hungary. - 2004. - pp. 971-976.

[319] Palacios, A.G. An "enactive" approach to integrative and comparative biology: thoughts on the table/A.G. Palacios, F. Bozinovic//Biological research. - 2003. - 36(1). - pp. 101-105.

[320] Park, M.Y. L1-regularization path algorithm for generalized linear models/M.Y. Park, T. Hastie//Journal of the Royal Statistical Society. Series B. - 2007. - 69(4). - pp. 659-677.

[321] Parkum, J.E. Recursive forgetting algorithms/J.E. Parkum, N.K. Poulsen, J. Holst //International Journal of Control. - 1992. - 55(1). - pp. 109-128.

[322] Pearl, R. The rate of living: being an account of some experimental studies on the biology of life duration/R. Pearl. - A.A. Knopf, 1928. - 185 p.

[323] Pei, S.-C. A new structure for the design of variable fractional-delay FIR filters/S.-C. Pei, J.-J. Shyu, C.-H. Chan, Y.-D. Huang//The Proceedings of 2011 19th European Signal Processing Conference. - Barcelona, Spain, 2011. - pp. 1420-1424.

[324] Petkova, S. Dynamics of remembering and forgetting on the (social) web platforms/Simeona Petkova. URL: http://web.mit.edu/comm-forum/ mit7/papers/Article_Petkova.pdf. Assessed 15.06.2016.

[325] Platt, J.C. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods/J.C. Platt//Advances in large margin classifiers. - 1999. - pp. 61-74.

[326] Poggio, T. Theory of Deep Learning III: Explaining the non-overfitting puzzle//T. Poggio, K. Kawaguchi, Q. Liao, B. Miranda, L. Rosasco et al. Center for Brains, Minds and Machines (CBMM), MIT. - 2018. - Memo No. 073.

[327] Polyak, N. A new method for nonorthogonal signal decomposition/N. Polyak, W.A. Pearlman//Journal of Visual Communication and Image Representation. - 1994. - 5(3). - pp. 236-244.

[328] Prokhorov, S.A. Fuzzy learning performance assessment based on decision making under internal uncertainty/S.A. Prokhorov, I.M. Kulikovskikh//7th Computer Science and Electronic Engineering Conference (CEEC 2015). -Colchester, UK, 2015. - pp. 65-70.

[329] Prokhorov, S.A. Pole position problem for Meixner filters/S.A. Prokhorov, I.M. Kulikovskikh//Signal Processing. - 2016. - 120. - pp. 8-12.

[330] Prokhorov, S.A. Unique condition for generalized Laguerre functions to solve pole position problem/S.A. Prokhorov, I.M. Kulikovskikh//Signal Processing. - 2015. - 108. - pp. 25-29.

[331] Prudencio, R.B.C. Analysis of instance hardness in machine learning using item response theory/R.B.C. Prudencio, J. Hernandez-Orallo, A. Martinez-Uso. URL: http://users.dsic.upv.es/~flip/LMCE2015/Papers/LMCE_ 2015_submission_1.pdf. Accessed 23.07.16

[332] Radic, Lj. Analysis and simulation of reduced FIR filters/Lj. Radic, W. Mathis//Advances in Radio Science. - 2005. - 3. - pp. 365-369.

[333] Raes, A. Promoting metacognitive regulation through collaborative problem solving on the web: When scripting does not work/A. Raes, T. Schellens, B. De Wever, D.F. Benoit//Computers in Human Behavior. - 2016. - 58. -pp. 325-342.

[334] Ralescu, A.L. Probability and fuzziness/A.L. Ralescu, D.A. Ralescu//Information Sciences. - 1984. - 34(2). - pp. 85-92.

[335] Ratsch, G. Efficient margin maximizing with boosting/G. Ratsch, M. Warmuth//Journal of Machine Learning Research. - 2005. - 6. - pp. 2153-2175.

[336] Reimann, P. Problem solving learning environments and assessment: A knowledge space theory approach/P. Reimann, M. Kickmeier-Rust, D. Albeert//Computers & Education. - 2013. - 64. - pp. 183-193.

[337] Rennie, J.D.M. Regularized logistic regression is strictly convex/J.D.M. Rennie. URL: http://qwone.com/~jason/writing/convexLR.pdf. Accessed 23.07.16

[338] Reiter, R. A theory of diagnosis from first principle/R. Reiter//Artificial Intelligence. - 32(1). - pp. 57-95.

[339] Rijmen, F. A nonlinear mixed model framework for Item Response Theory/F. Rijmen, F. Tuerlinckx, P. De Boeck, P. Kuppens//Psychological Methods. - 2003. - 8(2). - pp. 185-205.

[340] Ribeiro, F.L. An attempt to unify some population growth models from first principle/ F.L. Ribeiro//Revista Brasileira de Ensino de Fisica. - 2017. -39(1). - pp. e1311.

[341] Rifkin, R. In Defense of One-Vs-All Classification/R. Rifkin, A. Klautau// The Journal of Machine Learning Research. - 2004. — pp. 101-141.

[342] Rodriguez, G. Lecture notes on generalized linear models. Appendix B. Generalized linear model theory/G. Rodriguez. URL: http://data. princeton.edu/wws509/notes/a2.pdf. Accessed 23.07.16

[343] Rodriguez, G. Lecture notes on generalized linear models. Chapter 3. Logit models for binary data/G. Rodriguez. URL: http://data.princeton. edu/wws509/notes/c3.pdf. Accessed 23.07.16

[344] Roetzel, A. Impact of climate change on comfort and energy performance in offices/A. Roetzel, A. Tsangrassoulis//Building and Environment. - 2012. - 57. - pp. 349-361.

[345] Ronen, R. Why & When Deep Learning Works: Looking Inside Deep Learnings/R. Ronen. URL: arXiv:1705.03921. Accessed 23.06.17.

[346] Ross, A.S. Improving the adversarial robustness and interpretability of deep neural networks by regularizing their input gradients/A.S. Ross, F. Finale Doshi-Velez//AAAI. - 2018. - pp. 1660-1669.

[347] Ross, T.J. Fuzzy Logic and Probability Applications: Bridging the Gap/T.J. Ross, J.M. Booker, W.J. Parkinson. - SIAM, 2002. - 409 p.

[348] Ruder, S. An overview of gradient descent optimization algorithms/S. Ruder. URL: arXiv:1609.04747. Assessed 16.06.2018.

[349] Saleh, I. A fuzzy system for evaluating students' learning achievement/I. Saleh, S.I. Kim//Expert Systems with Applications. - 2009. - 36. - pp. 62366243.

[350] Salgado, M.E. Modified least squares algorithm incorporating exponential resetting and forgetting/M.E. Salgado, G.C. Goodwin, R.H. Middleton//International Journal of Control. - 1988. - 47(2). -pp. 477-491.

[351] Sanjaa, B. Fuzzy and probability/B. Sanjaa, P. Tsoozol//Strategic Technology: International Forum on. - Ulaanbaatar, Mongolia. - 2007. -pp. 141-143.

[352] Santoro, A. One-shot Learning with Memory-Augmented Neural Networks/A. Santoro, S. Bartunov, M. Botvinick, D. Wierstra, T. Lillicrap. URL: arXiv:1605.06065. Accessed 23.09.17

[353] Sarroukh, B.E. Optimal parameters in modulated Laguerre series expansions/B.E. Sarroukh, A.C. den Brinker, S.J.L. van Eijndhoven//Signal Processing and its Applications: The proceedings of 5th Int. Symposium on. - Brisbane, Queensland, Australia. - 1999. - pp. 187-190.

[354] Schapire, R.E. Some aspects of the dynamics of populations important to the management of commercial marine fisheries//R.E. Schapire//Bulletin of the Inter-American Tropical Tuna Commission. - 1954. - 1. - pp. 27-56.

[355] Schapire, R.E. The boosting approach to machine learning: An overview/R.E. Schapire//Nonlinear Estimation and Classification: Lecture Notes in Statistics. - 2003. - 171. - pp. 149-171.

[356] Schapire, R.E. Boosting the margin: A new explanation for the effectiveness of voting methods/ R.E. Schapire, Y. Freund, P. Bartlett, W.S. Lee//The Annals of Statistics. - 1998. - 26(5). - pp. 1651-1686.

[357] Schapire, R.E. The strength of weak learnability/R.E. Schapire, L. Valiant//Machine Learning. - 1990. - 5(2). - pp. 197-227.

[358] Schiaffino, S. eTeacher: Providing personalized assistance to e-learning students/S. Schiaffino, P. Garcia, A. Amandi//Computers & Education. -2008. - 51. - pp. 1744-1754.

[359] Schmidhuber, J. Deep learning in neural networks: An overview/J. Schmidhuber//Neural Networks. - 2015. - 61. - pp. 85-117.

[360] Schaul, T. No more pesky learning rates/T. Schaul, S. Zhang, Y. LeCun. URL: arXiv:1206.1106. Accessed 16.06.2018.

[361] Schuijers, E. Advances in parametric coding for high-quality audio/E. Schuijers, W. Oomen, B. den Brinker, J. Breebaart//The proceedings of the 114th AES Convention. - Amsterdam, Netherlands, 2003. - pp. 1-11.

[362] Selesnick, I. Least Squares with Examples in Signal Processing/I.Selesnick. URL: https://cnx.0rg/c0ntents/XRPKcVgh@ 1/Least-Squares-with-Examples-in. Accessed 15.06.2016.

[363] Seydnejad, S.R. Broadband beamforming using Laguerre filters/S.R. Seydnejad, R. Ebrahimi//Signal Processing. - 2012. - 92. - pp. 1093-1100.

[364] Shalev-Shwartz, S. Online learning and online convex optimization/S. Shalev-Shwartz//Foundations and Trends in Machine Learning. - 2011. -4(2). - pp. 107-194.

[365] Singpurwalla, N.D. Membership functions and probability measures of fuzzy sets/N.D. Singpurwalla, J.M. Booker//Journal of the American Statistical Association. - 2004. DOI: 10.1198/016214504000001196

[366] Shalev-Shwartz, S. On the equivalence of weak learnability and linear separability: new relaxations and efficient boosting algorithms/S. Shalev-Shwartz, Y. Singer//Machine Learning. - 2010. - 80. - pp. 141-163.

[367] Shalev-Shwartz, S. Failures of Gradient-Based Deep Learning/S. Shalev-Shwartz, O. Ohad Shamir, S. Shammah. URL: arXiv:1703.07950. Accessed 23.09.2017.

[368] Shariff, A. Psychological roadblocks to the adoption of self-driving vehicles/A. Shariff, J.F. Bonnefon, I. Rahwan//Nature Human Behaviour. - 2017. - 1. - pp. 694-696

[369] Shwartz-Ziv, R. Opening the Black Box of Deep Neural Networks via Information/R. Shwartz-Ziv, N. Tishby. URL: arXiv:1706.05394. Accessed 23.09.2017.